设为首页 加入收藏

TOP

Spark组件简介
2019-02-16 13:22:31 】 浏览:49
Tags:Spark 组件 简介
8615414-7f8307eb64eae57f.png
Spark组件

Spark Core:

  • 包含Spark基本功能,包括任务调度,内存管理,容错机制等
  • 内部定义了RDDs(弹性分布式数据集)
  • 提供了许多APIs来创建和操作这些RDDs
  • 为其他组件提供底层服务

Spark SQL

  • Spark处理结构化数据的库,类似Hive SQL

Spark Streaming

  • 提供了API处理实时数据流
  • 企业中用来从Kafka接收数据做实时统计

Mlib

  • 机器学习包
  • 支持集群上的横向扩展

Graphx

  • 图处理库,进行图的并行计算
  • 提供了常用的图算法,eg:PageRank

Cluster Managers

  • 集群管理,Spark自带一个集群管理是单独调度器
  • 常见的集群管理包括Hadoop YARN,Apache Mesos
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇spark之广播变量设计和实现 下一篇Spark与深度学习框架——H2O、dee..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目