设为首页 加入收藏

TOP

使用python访问hdfs——pyhdfs库的编译&安装
2019-02-08 12:17:51 】 浏览:90
Tags:使用 python 访问 hdfs pyhdfs 编译 安装
首先可以参考这两篇文档:
[url]http://code.google.com/p/libpyhdfs/source/browse/trunk/INSTALL[/url]
[url]http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/04/2036665.html[/url]

然后补充两个细节:
1. 我在执行:
apt-get install libhdfs0-dev

的时候提示找不到包,改成:
apt-get install libhdf4-dev

之后安装成功。

2. 文档一中提到:
[quote]You can copy your libhdfs.so into `lib' directory.[/quote]
其中的libhdfs.so位于hadoop的目录下,在我这边是位于hadoop-1.0.3-bin/c++/Linux-i386-32/lib/下,编译pyhdfs时需要用到。

pyhdfs编译安装成功后,在python代码中
import pyhdfs

可能仍然会报错:
[quote]ImportError: libhdfs.so.0: cannot open shared object file: No such file or directory[/quote]

此时需要编辑/etc/ld.so.conf ,将上文提到的hadoop-1.0.3-bin/c++/Linux-i386-32/lib/目录地址添加进去,然后执行
sudo /sbin/ldconfig -v

使配置生效即可。



编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇踩坑记——Azkaban Hdfs Plugin .. 下一篇Sqoop学习笔记——关系数据库与hd..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }