HDFS文件操作 - Hdfs - 程序员开发

TOP

HDFS文件操作

2018-12-12 00:19:43 【大中小】浏览:78次

转自：使用 java api操作HDFS文件，保存在此以学习。

全部程序如下：

[java]view
 plaincopy

importjava.io.IOException;

importjava.net.URI;

importjava.net.URISyntaxException;

importorg.apache.hadoop.conf.Configuration;

importorg.apache.hadoop.fs.FSDataInputStream;

importorg.apache.hadoop.fs.FSDataOutputStream;

importorg.apache.hadoop.fs.FileStatus;

importorg.apache.hadoop.fs.FileSystem;

importorg.apache.hadoop.fs.FileUtil;

importorg.apache.hadoop.fs.Path;

importorg.apache.hadoop.io.IOUtils;

publicclassHDFSTest{

//在指定位置新建一个文件，并写入字符

publicstaticvoidWriteToHDFS(Stringfile,Stringwords)throwsIOException,URISyntaxException

{

Configurationconf=newConfiguration();

FileSystemfs=FileSystem.get(URI.create(file),conf);

Pathpath=newPath(file);

FSDataOutputStreamout=fs.create(path);//创建文件

//两个方法都用于文件写入，好像一般多使用后者

out.writeBytes(words);

out.write(words.getBytes("UTF-8"));

out.close();

//如果是要从输入流中写入，或是从一个文件写到另一个文件（此时用输入流打开已有内容的文件）

//可以使用如下IOUtils.copyBytes方法。

//FSDataInputStreamin=fs.open(newPath(args[0]));

//IOUtils.copyBytes(in,out,4096,true)//4096为一次复制块大小，true表示复制完成后关闭流

}

publicstaticvoidReadFromHDFS(Stringfile)throwsIOException

{

Configurationconf=newConfiguration();

FileSystemfs=FileSystem.get(URI.create(file),conf);

Pathpath=newPath(file);

FSDataInputStreamin=fs.open(path);

IOUtils.copyBytes(in,System.out,4096,true);

//使用FSDataInoutStream的read方法会将文件内容读取到字节流中并返回

/**

*FileStatusstat=fs.getFileStatus(path);

//createthebuffer

byte[]buffer=newbyte[Integer.parseInt(String.valueOf(stat.getLen()))];

is.readFully(0,buffer);

is.close();

fs.close();

returnbuffer;

*/

}

publicstaticvoidDeleteHDFSFile(Stringfile)throwsIOException

{

Configurationconf=newConfiguration();

FileSystemfs=FileSystem.get(URI.create(file),conf);

Pathpath=newPath(file);

//查看fs的deleteAPI可以看到三个方法。deleteonExit实在退出JVM时删除，下面的方法是在指定为目录是递归删除

fs.delete(path,true);

fs.close();

}

publicstaticvoidUploadLocalFileHDFS(Stringsrc,Stringdst)throwsIOException

{

Configurationconf=newConfiguration();

FileSystemfs=FileSystem.get(URI.create(dst),conf);

PathpathDst=newPath(dst);

PathpathSrc=newPath(src);

fs.copyFromLocalFile(pathSrc,pathDst);

fs.close();

}

publicstaticvoidListDirAll(StringDirFile)throwsIOException

{

Configurationconf=newConfiguration();

FileSystemfs=FileSystem.get(URI.create(DirFile),conf);

Pathpath=newPath(DirFile);

FileStatus[]status=fs.listStatus(path);

//方法1

for(FileStatusf:status)

{

System.out.println(f.getPath().toString());

}

//方法2

Path[]listedPaths=FileUtil.stat2Paths(status);

for(Pathp:listedPaths){

System.out.println(p.toString());

}

}

publicstaticvoidmain(String[]args)throwsIOException,URISyntaxException

{

//下面做的是显示目录下所有文件

ListDirAll("hdfs://ubuntu:9000/user/kqiao");

StringfileWrite="hdfs://ubuntu:9000/user/kqiao/test/FileWrite";

Stringwords="Thiswordsistowriteintofile!\n";

WriteToHDFS(fileWrite,words);

//这里我们读取fileWrite的内容并显示在终端

ReadFromHDFS(fileWrite);

//这里删除上面的fileWrite文件

DeleteHDFSFile(fileWrite);

//假设本地有一个uploadFile，这里上传该文件到HDFS

//StringLocalFile="file:///home/kqiao/hadoop/MyHadoopCodes/uploadFile";

//UploadLocalFileHDFS(LocalFile,fileWrite);

}

}

FSDataOutputStream os = hdfs.create(new Path(args[0]));

注意：在os.flush() 刷新数据流；

有时写入的文件不能立即被其他读者看见，只有大于一个块时其他读者才能看见第一个块，但还是不能看见当前块。可以使用out.sync() 强制所有缓存与数据节点同步。其实在每一个os.close()中隐含了一个sync()的调用


【大中小】【打印】【繁体】【投稿】【收藏】【推荐】【举报】【评论】【关闭】【返回顶部】

上一篇：java hadoop hdfs 上写文..	下一篇：HDFS的读写限流方案