TOP

Python脚本操作hadoop
2018-12-12 00:35:54 】 浏览:138次 本网站的内容取自网络,仅供学习参考之用,绝无侵犯任何人知识产权之意。如有侵犯请您及时与本人取得联系,万分感谢。
Tags:Python 脚本 操作 hadoop

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Beyond_F4/article/details/80290064

公司最近业务用到了hadoop集群,为方便维护和迭代,选择了Python作为脚本语言,

下面说一下如何使用Python连接hadoop集群,hadoop集群中有namenode和datanode,我们需要连接namenode

我用的是Python3,和pyhdfs库(hdfs库也试过了,连不上,原因不明)

import pyhdfs
client = pyhdfs.HdfsClient(host,user_name)
# 获取目录下文件
client.listdir(hdfs_path)
# 新建目录
client.mkdirs(hdfs_path)
# 删除目录
client.delete(hdfs_path)
# 判断目录是否存在
client.exists(hdfs_path)
# 将本地文件上传至hadoop
client.copy_from_local(local_path,hdfs_path)
# 将hadoop文件down到本地
client.copy_to_local(hdfs_path,local_path)

请关注公众号获取更多资料


Python脚本操作hadoop https://www.cppentry.com/bencandy.php?fid=114&id=196228

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop初次体验:各种坑以及解决.. 下一篇简明Hadoop配置(1)——配置jdk以..

评论

验 证 码:
表  情:
内  容: