设为首页 加入收藏

TOP

4.Apache Spark的工作原理
2019-02-16 13:08:41 】 浏览:63
Tags:4.Apache Spark 工作 原理

Apache Spark的工作原理


1 Why Apache Spark
2 关于Apache Spark
3 如何安装Apache Spark
4 Apache Spark的工作原理
5 spark弹性分布式数据集
6 RDD持久性
7 spark共享变量
8 Spark SQL
9 Spark Streaming

原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/23/Apache-Spark%E7%9A%84%E5%B7%A5%E4%BD%9C%E5%8E%9F%E7%90%86/

Spark引擎提供了一种在一组机器上分布式内存中处理数据的方法。图7显示了典型的Spark作业如何处理信息的逻辑图。

6871092-eb614442051edcde.png
6871092-7e835a20dc6ae149.png

主控制如何分割数据,并利用数据位置,同时跟踪从机上的所有分布式数据计算。如果某台从机不可用,该机器上的数据将在其他可用的机器上重建。“大师”目前是一个单一的失败点,但将在即将发布的版本中修复。


公众号:it全能程序猿

6871092-a90f3127482c61b9.jpg


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Spark单机环境搭建并运行单次统计 下一篇1.Why Apache Spark

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目