设为首页 加入收藏

TOP

Spark的基本工作原理
2019-02-12 01:21:50 】 浏览:8
Tags:Spark 基本 工作 原理

1、分布式
答:分布式是啥?:一个集群上面有多个节点,多个节点对于数据的存储数据的计算,可能多是通过多个节点并行来处理的
比如:读取90万条数据,节点1存放30万条数据,节点2存放30万条数据,节点3也是30万条数据:
(Spark程序会被提提交到Spark集群上面运行,Spark集群会先去执行Hadoop里面的数据,
因为Hadoop里面有存储仓库Hbase存储系统,执行后把数据保存到多个节点上面保存)
2、主要基于内存(少数情况基于磁盘)
答:节点上面的数据主要基于保存在内存上面
3、迭代式计算
答:Spark于MapReduce最大的区别在于,迭代式计算模型:
MapReduce:
分为2个阶段,map和reduce,2个阶段执行完就结束了,所以我们在一个job里能做的处理有限,
只能在map和reduce里处理。
Spark,计算模型,
可以分为n个阶段,因为它是内存迭代式的:我们在处理完一个阶段以后,可以jixu往下处理很多个阶段,
而不只是2个阶段1,所以Spark比起MapReduce来讲,计算模型更加的强大!
最后:
执行完的结果到哪里去了?
1.Hadoop HDFS,Hive
2.Mysql,Hbase,DB
3.直接把结果返回给客户端(运行Spark的程序和进程)


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Spark 之 内置函数 JSON 下一篇spark ML算法之线性回归使用

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }