设为首页 加入收藏

TOP

PySpark读取Mysql数据到DataFrame!
2019-04-14 13:29:23 】 浏览:18
Tags:PySpark 读取 Mysql 数据 DataFrame

Spark版本:2.1
Python版本:2.7.12

了解了Spark RDD之后,小编今天有体验了一把Spark SQL,使用Spark SQL时,最主要的两个组件就是DataFrame和SQLContext。

1、引言

使用过Pandas的小伙伴们一定对DataFrame比较熟悉,Spark中的DataFrame其实跟pandas中的类似,DataFrame是一个分布式的,按照命名列的形式组织的数据集合。DataFrame基于R语言中的data frame概念,与关系型数据库中的数据库表类似。可以通过如下数据源创建DataFrame:

已有的RDD
结构化数据文件
JSON数据集
Hive表
外部数据库

今天,小编只想带大家如何从外部的mysql数据库中获取数据:加入我有一个test的数据库存在于本地,有一个名为chat的数据表,其中的数据是这样的:


4155986-24cb8b1d1662528b.png
chat数据表.png

可以看到主要有四列数据,分别是id,问题,回答以及问题对应的词向量(经过word2vec训练出来的)。

想要通过SparkSql获取到数据库的数据,小编可真是费了很大的力气,网上的帖子真可谓少之又少,不过经过一番试错,小编最终还是搞定啦,哈哈。

2、环境配置

想要了解spark安装的童鞋,可以参考我之前写的文章:http://www.jianshu.com/p/c248b8c966e2
想要spark能够从mysql中获取数据,我们首先需要一个连接mysql的jar包,jar包下载地址:http://download.csdn.net/download/u012453843/9667329
将jar包放入虚拟机中合适的位置,比如我放置在/home/sxw/Documents路径下,并在spark的 spark-env.sh 文件中加入:

export SPARK_CLASSPATH=/home/sxw/Documents/mysql-connector-java-5.1.40-bin.jar

3、代码编写

使用pyspark并从mysql中获取数据的完整代码如下:

from pyspark.sql import SparkSession
from pyspark.sql import SQLContext

sc = SparkSession.builder.appName("Python Spark SQL basic example")\
    .config('spark.some.config,option0','some-value')\
    .getOrCreate()
ctx = SQLContext(sc)
jdbcDf=ctx.read.format("jdbc").options(url="jdbc:mysql://localhost:3306/test",
                                       driver="com.mysql.jdbc.Driver",
                                       dbtable="(SELECT * FROM chat) tmp",user="root",
                                       password="0845").load()
print(jdbcDf.printSchema())

小编还没有仔细研究SparkSQL的语法,所以这里对于语句就不做过多的介绍啦。

4、运行

我们把上面的代码保存成test.py,直接使用python test.py命令运行,结果如下:


4155986-cfbdff609bd4ea9e.png
运行结果1.png

可以看到,我们成功从mysql中得到了数据,并打印出了DataFrame的Schema。

如果你喜欢我写的文章,可以帮忙给小编点个赞或者加个关注,我一定会互粉的!
如果大家对spark感兴趣,欢迎跟小编进行交流,小编微信为sxw2251,加我要写好备注哟!


4155986-39316d35a8b34f5b.png
我的微信

编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Spark天堂之门 下一篇(资源整理)带你入门Spark

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }