设为首页 加入收藏

TOP

开源分布式计算框架比较
2015-11-21 01:27:21 来源: 作者: 【 】 浏览:0
Tags:开源 分布式 计算 框架 比较
目前,比较流行的开源分布式计算框架主要有Hadoop MapReduce,Spark Streaming,Storm。这三个框架各有千秋,适合不同的场景。本文对三种框架进行多方面的简单比较。
?
? ? ---> ?Hadoop MapReduce ? ?
?
Hadoop MapReduce使用于大批量的集群任务,由于批量执行,故其时效性比较差。原生 Java语言开发。
?
  ---> ? Spark Streaming
?
Spark Streaming保留了Hadoop MapReduce的优点,其时效性有了很大提高。计算过程中,中间结果可以保存在内存中,从而对需要迭代计算和有较高时效性要求的 系统提供很好的支持,多用于能容忍小延时的推荐和计算系统。
?
  ---> Storm
?
Storm 一开始就是为实时处理设计,因此在实时分析/性能监测等需要高时效性的领域广泛采用,而且它理论上支持所有语言,只需要少量代码即可完成适配器。
?
?
下面的表格是对三者部分特性的比较,描述时间为 2015-5-3,三个项目均处于快速迭代中,文中描述特性会随时产生变化,如果与官方文档产生出入以官方文档为准。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇mongodb里的集合数据迁移到mysql库 下一篇数据清洗小记(10):清洗字典数据..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容: