TOP

scala中分组的算子的用法
2019-12-11 11:24:01 】 浏览:157次 本网站的内容取自网络,仅供学习参考之用,绝无侵犯任何人知识产权之意。如有侵犯请您及时与本人取得联系,万分感谢。
Tags:scala 分组 算子 用法

val rdd= sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("tom",2)))
//1.根据传入的参数进行分组
val rdd1:RDD[(String, Iterable[(String, Int)])] =rdd.groupBy(_._1)
println(rdd1.collect.toBuffer)
//2.根据key进行分区(对KV形式是使用) -->除了指定分组之后分区的数量之外, 还可以使用自定义分区器
val rdd2: RDD[(String, Iterable[Int])] = rdd.groupByKey()
println(rdd2.collect.toBuffer)

  

 

 

请关注公众号获取更多资料


scala中分组的算子的用法 https://www.cppentry.com/bencandy.php?fid=90&id=272110

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇wordcount实例 下一篇RDD的转换操作,分三种:单value..

评论

验 证 码:
表  情:
内  容: