TOP

hadoop 部署软件环境 自己上传python包
2018-11-29 08:42:54 】 浏览:387
Tags:hadoop 部署 软件 环境 自己 上传 python

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_20488317/article/details/59057425

应用场景:

hadoop上的软件环境不能满足自己的需求。比如需要python2.7以上的版本,hadoop环境不支持或者需要安装某插件的python版本,hadoop不支持。这种情况下,需要自己上传python包。

首先,将打包好的python包上传至hadoop

 hadoop fs -put ./python2.7.tgz hdfs:///home/my/tool/

然后指定cacheArchive: -cacheArchive hdfs:///home/my/tool/python2.7.tgz#python

指定map或者reduce使用的python位置: python/bin/python

举例:

-mapper "./python/bin/python map.py" \
-reducer "./python/bin/python reduce.py" \
-file map.py \
-file reduce.py \
-cacheArchive hdfs:///home/my/tool/python2.7.tgz#python

其中home/my/tool/python2.7.tgz是压缩包的解压的目录,然后在解压目录前添加#标识的软链名,如下:
python2.7.tgz解压后的目录为./lib与./bin……,则在程序中使用的运行环境目录为./python//lib与./python/bin……

所以:

-mapper "./python/bin/python map.py" 


hadoop 部署软件环境 自己上传python包 https://www.cppentry.com/bencandy.php?fid=114&id=190903

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇搭建Hadoop平台(一)之配置用户.. 下一篇安装Hadoop及Spark for Ubuntu 16..