TOP

hadoop streaming -file -cacheFile -cacheArchive 区别
2018-11-30 00:47:44 】 浏览:292
Tags:hadoop streaming -file -cacheFile -cacheArchive 区别

hadoop

-file :本地分发,不需先上传到集群。(属于临时上传到集群,任务结束时问从集群中消失)
-cacheFile :由集群上的文件分发到各个节点。(需人为先上传到集群)
-cacheArchive :与cacheFile类似,差别在于cacheArchive的方式的文件为压缩文件
好了 讲到这里觉得还是死板 , 通俗点来讲
假设 一个集群有一个主节点 两个从节点
集群是一件教室
master主节点 为老师及所在的讲台
从节点 为两个学生和所在的桌子
-file方式 秤完苹果 分完后 就从教室里拿走了
-cacheFile方式 秤完苹果 分完后 秤仍在教室里
-cacheArchive方式 秤完苹果 分完后 秤仍在教室里 只不过 这秤比较大 需要装箱子里到教室再拆开

hadoop streaming -file -cacheFile -cacheArchive 区别 https://www.cppentry.com/bencandy.php?fid=114&id=191957

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop Streaming 做大数据处理详.. 下一篇Hadoop各个版本的下载地址