设为首页 加入收藏

TOP

初识hadoop--(2)通过java操作hdfs
2019-03-19 13:47:20 】 浏览:60
Tags:初识 hadoop-- 通过 java 操作 hdfs
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/redstarofsleep/article/details/77187607

要通过本地windows上的java代码操作远程hdfs,首先需要在windows上装个小工具:

https://github.com/steveloughran/winutils

官方提供的工具。

然后配置环境变量指向这个工具的安装路径:

HADOOP_HOME: C:\Users\lhc\myapp\hadoop-2.7.1


然后还要修改host文件(文件位置C:\Windows\System32\drivers\etc,用管理员打开),追加安装hadoop的服务器的hostname:

例如:192.168.18.229 user-HVM-domU


然后创建java工程,配置maven。jdk里的tools.jar这个要单独配置一下。

<dependencies>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-hdfs</artifactId>
		<version>2.8.1</version>
	</dependency>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-common</artifactId>
		<version>2.8.1</version>
	</dependency>
	<dependency>
		<groupId>jdk.tools</groupId>
		<artifactId>jdk.tools</artifactId>
		<version>1.8</version>
		<scope>system</scope>
		<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
	</dependency>
	</dependencies>

然后就可以写一段代码来测试了:

public static void main(String[] args) throws IOException {
		String uri = "hftp://192.168.18.229:50070/user/test/test.txt";
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(URI.create(uri), conf);
		InputStream in = null;
		try {
			in = fs.open(new Path(uri));
			IOUtils.copyBytes(in, System.out, 4096, false);
		} finally {
			IOUtils.closeStream(in);
		}
	}



】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume读取日志数据写入kafka &nbs.. 下一篇Linux 技巧:让进程在后台运行

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目