设为首页 加入收藏

TOP

hadoop与cuda的几点思考
2019-04-22 00:41:06 】 浏览:75
Tags:hadoop cuda 思考

分布式计算的hadoop与cuda的几点思考

最近学习分布式计算,突然想到一个问题,hadoop 和cdua有什么关系。为什么有的问题要并行计算,交给GPU处理,而现在GPU编程的主体是cuda并行计算,有的交给分布式hadoop处理?

学习后,受到点启发, 觉得应该是这样的:

首先有两种情况:数据密集型、计算密集型
1.数据密集型:数量大,但是对每一条数据的处理并不一定麻烦,比如,对1T的文件统计字数,可以交给10台机器分别统计。

2.计算密集型:数量并不一定大,但是对每条数据的计算量非常大,比如对图像训练的深度神经网络。
 实现基于机器学习的自动的智能化数据价值挖掘是大数据和Hadoop最诱人的愿景了,也就是将数据密集型和计算密集型工作都集成到hadoop自身,这也是很多企业对大数据平台的最终期望。随着可获得的数据越来越多,未来大数据平台的价值更多的取决于其计算人工智能的程度。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop生态圈总结——大数据 下一篇hadoop关闭不了namenode和datanod..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目