设为首页 加入收藏

TOP

本地文件上传至hdfs文件系统
2019-04-14 12:12:48 】 浏览:61
Tags:本地 文件 上传 hdfs 系统
将本地文件存储到Hadoop中的hdfs中去,uploadPath问本地文件的路径,hdfsFileName为存入hdfs中的文件名,
一般路径的格式为:
String hdfsPath="hdfs://192.168.248.129:9000/"+hfdsFileName

具体代码:
public static void save(String uploadPath,String hfdsFileName)throws IOException
	{
		long startTime = System.currentTimeMillis();
		//String localPath="/home/localfile/sing.mp3";
		String localPath = uploadPath;
	    String hdfsPath="hdfs://192.168.248.129:9000/"+hfdsFileName;
		Configuration conf = new Configuration();
			
		//设定输入目录和输出目录
		Path inputDir = new Path(localPath);
		Path hdfsFile = new Path(hdfsPath);
		
		FileSystem local = FileSystem.get(conf);
		FileSystem hdfs  = hdfsFile.getFileSystem(conf);
		
		try{
			FileStatus[] inputFiles = local.listStatus(inputDir);//得到本地文件列表
			FSDataOutputStream out = hdfs.create(hdfsFile);//生成HDFS输出流
				
			for(int i = 0;i<inputFiles.length;i++)
			{
				System.out.println(inputFiles[i].getPath().getName());
				FSDataInputStream in = local.open(inputFiles[i].getPath());//打开本地输入流
				byte buffer[] = new byte[256];
				int bytesRead = 0;
				while((bytesRead = in.read(buffer))>0)
				{
					out.write(buffer,0,bytesRead);
				}
				in.close();
			}
			out.close();
			long endTime = System.currentTimeMillis();
			System.out.println("time:"+(endTime-startTime));
		}c
		    

atch(Exception e) { e.printStackTrace(); } }

编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇streaming流式读取hdfs采坑记 下一篇hdfs基本命令操作

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }