设为首页 加入收藏

TOP

intellij idea编写hadoop程序访问hdfs问题
2019-03-12 12:18:31 】 浏览:36
Tags:intellij idea 编写 hadoop 程序 访问 hdfs 问题

Hadoop运行在ubuntu上,本地idea运行Java代码,碰到如下的异常,
java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

Java代码如下:
FileSystem fs = FileSystem.get(conf);
Path file = new Path(path, “part-r-00000”);
fs.open(file);

抛出异常如下:

Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.2.6:9000/user/hadoop/output/part-00000, expected: file:///

解决方案:
需要把hadoop集群上的core-site.xml和hdfs-site.xml放到当前工程的resources目录下。
因为是访问远程的HDFS 需要通过URI来获得FileSystem.




编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hdfs:端口、启动、命令 下一篇java hadoop   hdfs 上写文..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }