设为首页 加入收藏

TOP

Idea连接远程centos操作HDFS
2019-03-16 12:15:18 】 浏览:161
Tags:Idea 连接 远程 centos 操作 HDFS

1、 根据配置文件获取HDFS操作对象

static {
        conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.236.135:9000");
        try {
            fs = FileSystem.get(conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

在这里插入图片描述
在这里插入图片描述
解决方案:win系统需要配置HADOOP_HOME变量
下载hadoop-3.0.3.tar.gz 解压
配置HADOOP_HOME
path添加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin
在hadoop目录bin添加winutils.exe 下载地址
在这里插入图片描述
解决方案:

    static {
        conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.236.135:9000");
        //本地文件系统 LocalFileSystem     hdfs文件系统 DistributedFileSystem
        conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
        try {
            fs = FileSystem.get(conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

###2、 本地搭建 hadoop3.0.3 maven引入依赖为3.0.3.jar包,在获取文件系统时,DistributedFileSystem类not found,解决为引入hadoop-client.jar 包 (DistributedFileSystem文件位置较2.7.0版本有差异)

      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <version>3.0.3</version>
     </dependency>
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-hdfs</artifactId>
          <version>3.0.3</version>
      </dependency>
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-client</artifactId>
          <version>3.0.3</version>
      </dependency>
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇idea intellij 连接hadoopHDFS插件 下一篇Hadoop _ Hdfs   java.io.IO..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目