版权声明:本文为博主原创文章,转载请注明。 https://blog.csdn.net/ltc844139730/article/details/81977978
写在前面:
我的博客已迁移至自建服务器:博客传送门,CSDN博客暂时停止,如有机器学习方面的兴趣,欢迎来看一看。
此外目前我在gitHub上准备一些李航的《统计学习方法》的实现算法,目标将书内算法全部手打实现,欢迎参观并打星。GitHib传送门
上传文件Demo
@Test
public void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException {
//1.获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
//2.获取输入流
FileInputStream fis = new FileInputStream(new File("e:/hello.txt"));
//3.获取输出流
FSDataOutputStream fos = fs.create(new Path("/hello3.txt"));
//4.流对拷
IOUtils.copyBytes(fis, fos, configuration);
//5.关闭资源
IOUtils.closeStream(fis);
IOUtils.closeStream(fos);
if(fs != null) {
try {
fs.close();
}catch (IOException ex) {
System.out.println("文件关闭失败");
}
}
}
下载文件Demo
@Test
public void getFileFromHDFS() throws IOException, InterruptedException, URISyntaxException {
//1.获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
//2.获取输入流
FSDataInputStream fis = fs.open(new Path("/hello3.txt"));
//3.获取输出流
FileOutputStream fos = new FileOutputStream(new File("e:/hello1.txt"));
//4.流对拷
IOUtils.copyBytes(fis, fos, configuration);
//5.关闭资源
IOUtils.closeStream(fis);
IOUtils.closeStream(fos);
if(fs != null) {
try {
fs.close();
}catch(IOException ex){
System.out.println(ex.getMessage());
}
}
}
定位文件读取
本Demo中,在/user/atguigu中有文件hadoop-2.7.2.tar.gz,其大小为188.5M,由于HDFS文件块大小为128M,所以该文件在HDFS系统中分两块存。
正常下载时,HDFS会将整个文件下载至本地。本Demo通过将文件分开定位的方式,按照块的大小来分两次读取文件。
//下载第一部分
@Test
public void getHDFSSeek1() throws IOException, InterruptedException, URISyntaxException {
//1.获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
//2.获取输入流
FSDataInputStream fis = fs.open(new Path("/user/atguigu/hadoop-2.7.2.tar.gz"));
//3.获取输出流
FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part1"));
//4.文件定位对拷
byte[] buf = new byte[1024];
for(int i = 0; i < 1024 * 128; i++) {
fis.read(buf);
fos.write(buf);
}
//5.关闭资源
IOUtils.closeStream(fis);
IOUtils.closeStream(fos);
IOUtils.closeStream(fs);
}
//下载第二部分
@Test
public void getHDFSSeek2() throws IOException, InterruptedException, URISyntaxException {
// 1.获取文件系统
Configuration configuration = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
// 2.获取输入流
FSDataInputStream fis = fs.open(new Path("/user/atguigu/hadoop-2.7.2.tar.gz"));
// 3.获取输出流
FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part2"));
// 4.文件定位对拷
fis.seek(1024 * 1024 * 128);
IOUtils.copyBytes(fis, fos, configuration);
// 5.关闭资源
IOUtils.closeStream(fis);
IOUtils.closeStream(fos);
IOUtils.closeStream(fs);
}