设为首页 加入收藏

TOP

Hadoop 文件追加(断点继传)
2019-04-24 00:42:30 】 浏览:36
Tags:Hadoop 文件 追加 断点

hadoop 0.20之前的版本应该不支持文件追加功能,我用的是1.0版本的。

要想使用文件追加写入功能,先配置hdfs-site.xml,如下:

<property>

<name>dfs.support.append</name>

<value>true</value>

</property>

dfs.support.append默认是关闭的。

然后程序打开文件时用:

FileSystem fs = FileSystem.get(URI.create(dst), conf);

FSDataOutputStream out = fs.append(new Path(dst));

在网上找了一天都没有找到解决方法,而且都说hadoop没有这个功能。最后没办法看了下异常,突然发现异常中用个dfs.support.append设置的提示,配置了下,居然成功了,特此分享。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop内存溢出(OOM)分类、参数调.. 下一篇如何判断Hadoop Namenode状态

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目