TOP

使用python访问hdfs——pyhdfs库的编译&安装
2019-02-08 12:17:51 】 浏览:260
Tags:使用 python 访问 hdfs pyhdfs 编译 安装

首先可以参考这两篇文档:
[url]http://code.google.com/p/libpyhdfs/source/browse/trunk/INSTALL[/url]
[url]http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/04/2036665.html[/url]

然后补充两个细节:
1. 我在执行:
apt-get install libhdfs0-dev

的时候提示找不到包,改成:
apt-get install libhdf4-dev

之后安装成功。

2. 文档一中提到:
[quote]You can copy your libhdfs.so into `lib' directory.[/quote]
其中的libhdfs.so位于hadoop的目录下,在我这边是位于hadoop-1.0.3-bin/c++/Linux-i386-32/lib/下,编译pyhdfs时需要用到。

pyhdfs编译安装成功后,在python代码中
import pyhdfs

可能仍然会报错:
[quote]ImportError: libhdfs.so.0: cannot open shared object file: No such file or directory[/quote]

此时需要编辑/etc/ld.so.conf ,将上文提到的hadoop-1.0.3-bin/c++/Linux-i386-32/lib/目录地址添加进去,然后执行
sudo /sbin/ldconfig -v

使配置生效即可。

使用python访问hdfs——pyhdfs库的编译&安装 https://www.cppentry.com/bencandy.php?fid=115&id=207414

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇踩坑记——Azkaban Hdfs Plugin .. 下一篇Sqoop学习笔记——关系数据库与hd..