设为首页 加入收藏

TOP

深入理解RDD
2019-04-12 01:27:48 】 浏览:85
Tags:深入 理解 RDD

GitHub中Spark地址:https://github.com/apache/spark

GitHub中Spark-RDD地址:https://github.com/apache/spark/tree/master/core/src/main/scala/org/apache/spark/rdd

<一>.什么是RDD:

RDD(Resilient Distributed Datasets),弹性分布式数据集, 是分布式内存的一个抽象概念,RDD提供了一种高度受限的共享内存模型,即RDD是只读的记录分区的集合,只能通过在其他RDD执行确定的转换操作(如map、join和group by)而创建,然而这些限制使得实现容错的开销很低。对开发者而言,RDD可以看作是Spark的一个对象,它本身运行于内存中,如读文件是一个RDD,对文件计算是一个RDD,结果集也是一个RDD ,不同的分片、 数据之间的依赖 、key-value类型的map数据都可以看做RDD。

<二>RDD五大特性在源码中的体现:

(1)* - A list of partitions
一个RDD是由很多的分区构成的
(2)* - A function for computing each split/partitions
对一个RDD进行的转换其实就是对RDD里面的每个partition进行操作的
(3)* - A list of dependencies on other RDDs
RDD之间是有一个依赖关系的
(4)* - Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
可选项,如果RDD里面存的数据是key-value形式,则可以传递一个自定义的Partitioner进行重新分区,例如这里自定义的Partitioner是基于key进行分区,那则会将不同RDD里面的相同key的数据放到同一个partition里面
(5)* - Optionally, a list of preferred locations to compute each split on (e.g. block locations for
* an HDFS file)
可选项,数据本地性

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇3.4.1 Spark RDD - 概念与简单理解 下一篇spark IDE:   System memory..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目