设为首页 加入收藏

TOP

Hadoop _ Hdfs   java.io.IOException: No FileSystem for scheme: hdfs 问题解决
2019-03-10 12:06:23 】 浏览:50
Tags:Hadoop Hdfs   java.io.IOException: FileSystem for scheme: hdfs 问题 解决

原文地址:https://www.cnblogs.com/justinzhang/p/4983673.html


在这篇文章中,介绍了如何将Maven依赖的包一起打包进jar包。使用maven-assembly打成jar后,

将这个jar提供给其他工程引用的时候,报出如下错误:

出现的错误:

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs
     at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421)
     at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2428)
     at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:88)
     at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2467)
     at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2449)
     at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:367)
     at org.apache.hadoop.fs.FileSystem$1.run(FileSystem.java:156)
     at org.apache.hadoop.fs.FileSystem$1.run(FileSystem.java:153)
     at java.security.AccessController.doPrivileged(Native Method)
     at javax.security.auth.Subject.doAs(Subject.java:422)
     at org.apache.hadoop.security.UserGroupInformation.
		    

doAs(UserGroupInformation.java:1491) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:153) at com.cetc.di.HDFSFileSystem.<init>(HDFSFileSystem.java:41) at callhdfs.Main.main(Main.java:11)


但是,在没有打成jar包的工程中,是可以正常运行的,

通过长时间的观察和分析,发现与hadoop filesystem相关的包有两个,
分别是:hadoop-hdfs-2.7.1.jar和hadoop-common-2.7.1.jar,
这两个包的META-INF中的services目录下,都有如下的内容:




可以看到,这两个包的services目录下都有,org.apache.hadoop.fs.FileSystem这个文件。
使用Maven-assembly-plugin的时候,会将所有依赖的包unpack,然后在pack,这样就会出现,

同样的文件被覆盖的情况,我们看下打好的包中保留的是啥:



可以看到,maven-assembly-plugin(fatjar也是一样的),将hadoop-common.jar中的services内容打进了最终的jar包中,而hadoop-hdfs.jar包中,services的内容被覆盖了。由于我们的函数调用是这样写的:




在函数中使用了hdfs://IP : portschema,而在生成的最终jar包中,无法找到这个schema的实现。所以就抛出了

java.io.IOException: No FileSystem for scheme: hdfs

解决方案是,在设置hadoop的配置的时候,显示设置这个类:"org.apache.hadoop.hdfs.DistributedFileSystem


configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");


然后在重新打包,一切works ok了。

jar包中META-INF中的services文件下的内容,牵涉到servicelocator的概念:


详细的介绍,看java官方文档:http://docs.oracle.com/javase/7/docs/api/java/util/ServiceLoader.html

查看这篇文章,可以知道servicelocator具体是如何运作的http://www.concretepage.com/java/serviceloader-java-example




编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HDFS API 操作--MyEclipse中连接.. 下一篇Hadoop-->HDFS原理总结

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }