版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/redstarofsleep/article/details/77187607
要通过本地windows上的java代码操作远程hdfs,首先需要在windows上装个小工具:
https://github.com/steveloughran/winutils
官方提供的工具。
然后配置环境变量指向这个工具的安装路径:
HADOOP_HOME: C:\Users\lhc\myapp\hadoop-2.7.1
然后还要修改host文件(文件位置C:\Windows\System32\drivers\etc,用管理员打开),追加安装hadoop的服务器的hostname:
例如:192.168.18.229 user-HVM-domU
然后创建java工程,配置maven。jdk里的tools.jar这个要单独配置一下。
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.8.1</version>
</dependency>
<dependency>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
<version>1.8</version>
<scope>system</scope>
<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
</dependency>
</dependencies>
然后就可以写一段代码来测试了:
public static void main(String[] args) throws IOException {
String uri = "hftp://192.168.18.229:50070/user/test/test.txt";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(uri), conf);
InputStream in = null;
try {
in = fs.open(new Path(uri));
IOUtils.copyBytes(in, System.out, 4096, false);
} finally {
IOUtils.closeStream(in);
}
}