设为首页 加入收藏

TOP

python hdfs 模块的一些使用笔记
2018-11-13 14:11:50 】 浏览:135
Tags:python hdfs 模块 一些 使用 笔记
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/guokeliunian/article/details/72845351

公司新项目用到Hadoop。查了半天资料 python调用hdfs的模块就是hdfs看着顺眼,就用它了。
模块官方文档地址:https://pypi.python.org/pypi/hdfs/2.0.16
https://hdfscli.readthedocs.io/en/latest/api.html#hdfs.client.TokenClient

简单的方法就不写了,很简单直接看官方示例就好了。
让我苦恼了半天的是文件的写入追加,读取EXCEL和CSV文件,并在web界面以表格形式展示。

#追加 append=True
from  json import dump,load
with client.write('r.csv', encoding='utf-8',append=True) as writer:
    dump(model,writer)

#读取 delimiter='\n' 根据分隔符返回一个生成器
with client.read("r.csv",encoding="utf-8",delimiter="\n") as reader:
    for line in  reader:
        print(line)

#读取 chunk_size=1024 根据大小返回一个生成器,流式传输文件
with client.read("r.csv",encoding='utf-8',chunk_size=1024) as reader:
    for chunk in reader:
        print(chunk)

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇大数据常见端口汇总-hadoop、hbas.. 下一篇使用IDEA 搭建 spark on yarn 的..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目