设为首页 加入收藏

TOP

spark 常用函数总结
2018-12-06 09:29:57 】 浏览:15
Tags:spark 常用 函数 总结
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/liu857279611/article/details/72846237
1, textFile() 读取外部数据源


2, map() 对每一条数据进行相应的处理 如切分


3, reduceByKey(_+_) 传入一个函数,将key相同的一类进行聚合计算 如相加


4, mapvalues(_+10) 传入一个函数,类似于map方法,不过这里只是对元组中的value进行计算


5,filter() 传入一个函数, 用户过滤处理数据


6,sortBy() 传入对哪个字段进行排序 对数据进行排序


7,partitionBy() 传入一个自定义的分区类,可进行数据的分区,


8,mapPartitions() 对每个分区中的每条数据进行处理 类似于map,不过map是针对整个数据的,而mapPartitions()是针对分区
假设一个rdd有10个元素,分成3个分区。如果使用map方法,map中的输入函数会被调用10次;而使用mapPartitions方法的话,其输入函数会只会被调用3次,每个分区调用1次。返回的数据需要转换为iterator


9,reverse 将排序好的数据进行反转


10,it.toList 将Iterator转换为list 然后就可以使用list的sortBy()函数进行排序


11,.iterator it.toList.sortBy(_._2._2).reverse.take(2).iterator 将数据转换为iterator


12,aggregate()()第一个参数需要传入一个初始值,第二个参数需要传入两个函数[每个函数都是2个参数(第一个参数:先对每个分区进行合并, 第二个:对个个分区合并后的结果再进行合并), 输出一个参数]
val rdd1 = sc.parallelize(List(1,2,3,4,5,6,7,8,9), 2)
rdd1.aggregate(0)(_+_, _+_) 求和
rdd1.aggregate(0)(math.max(_, _), _ + _) 先取出每个分区的最大值,再求和
val rdd2 = sc.parallelize(List("a","b","c","d","e","f"),2)
rdd2.aggregate("=")(_ + _, _ + _)
结果:==def=abc


13,groupBy() 对指定字段进行分组


14,foreachPartition()对分区内的每个元素进行操作,
val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8, 9), 3)
rdd1.foreachPartition(x => println(x.reduce(_ + _)))
可以用如下代替
val rdd1 = sc.parallelize(List(2, 1, 3, 5, 4, 6, 7, 8, 9), 3)
val rdd2 = rdd1.mapPartitions(x => {
var result = List[Int]()
result.::(x.toList.sum).iterator
})

15, keys values
val rdd1 = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther", "eagle"), 2)
val rdd2 = rdd1.map(x => (x.length, x))
rdd2.keys.collect
rdd2.values.collect


16,filterByRange
val rdd1 = sc.parallelize(List(("e", 5), ("c", 3), ("d", 4), ("c", 2), ("a", 1)))
val rdd2 = rdd1.filterByRange("b", "d")
rdd2.collect

编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇强者联盟——Python语言结合Spark.. 下一篇Spark-Hadoop、Hive、Spark 之间..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }