设为首页 加入收藏

TOP

将mysql中的数据导入到hdfs,spark程序实现
2019-03-16 00:19:05 】 浏览:51
Tags:mysql 数据 导入 hdfs spark 程序 实现
版权声明:& https://blog.csdn.net/qq_16760101/article/details/84852743

程序为:

import org.apache.spark.sql.SparkSession

object import_data {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession .builder()
    			 .appName("MysqlDemo") 
    			 .master("local").getOrCreate()
    val jdbcDF = spark.read.format("jdbc")
    			  .option("delimiter", ",")
    			  .option("heard", true)
    			  .option("url", "jdbc:mysql://ip:xxxx/testuseUnicode=true&characterEncoding=utf-8")
    			  .option("dbtable", "temp")
    			  .option("user", "root").option("password", "123").load()
    val res=jdbcDF.write.format("csv").option("delimiter", ",")
    		 .option("heard", true).save("hdfs://ip:xxxx/a.txt")
  }
}
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop _ Hdfs   java.io.IO.. 下一篇问题记录:Linux系统中HDFS文件夹..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目