设为首页 加入收藏

TOP

复制本地文件到HDFS本地测试异常(二)
2017-10-10 12:10:49 】 浏览:8755
Tags:复制 本地 文件 HDFS 测试 异常
应该是成立的,分析NativeIO.isAvailable方法代码如下:

1   /**
2    * Return true if the JNI-based native IO extensions are available.
3    */
4   public static boolean isAvailable() {
5     return NativeCodeLoader.isNativeCodeLoaded() && nativeLoaded;
6   }

isAvailable方法主要是调用NativeCodeLoader.isNativeCodeLoaded方法

 1  static {
 2     // Try to load native hadoop library and set fallback flag appropriately
 3     if(LOG.isDebugEnabled()) {
 4       LOG.debug("Trying to load the custom-built native-hadoop library...");
 5     }
 6     try {
 7       System.loadLibrary("hadoop");
 8       LOG.debug("Loaded the native-hadoop library");
 9       nativeCodeLoaded = true;
10     } catch (Throwable t) {
11       // Ignore failure to load
12       if(LOG.isDebugEnabled()) {
13         LOG.debug("Failed to load native-hadoop with error: " + t);
14         LOG.debug("java.library.path=" +
15             System.getProperty("java.library.path"));
16       }
17     }
18     
19     if (!nativeCodeLoaded) {
20       LOG.warn("Unable to load native-hadoop library for your platform... " +
21                "using builtin-java classes where applicable");
22     }
23   }
24 
25   /**
26    * Check if native-hadoop code is loaded for this platform.
27    * 
28    * @return <code>true</code> if native-hadoop is loaded, 
29    *         else <code>false</code>
30    */
31   public static boolean isNativeCodeLoaded() {
32     return nativeCodeLoaded;
33   }

通过可以看到,isNativeCodeLoaded方法就是返回一个属性值,那么问题出现在什么地方呢?

经过分析NativeCodeLoaded类的静态构造函数,有一个“System.loadLibrary("hadoop")”方法。 是不是这个方法导致的呢?通过在其他同事环境上调试,System.loadLibrary("hadoop") 会异常,从而运行catch部分,但是本人电脑却不会异常,直接继续运行。那么System.loadLibrary方法是什么用途呢,通过分析源码知道,这个方法是加载本地系统和用户的环境变量的。进而分析是因为本人在C:\\Windows\System32目录下有hadoop.dll文件或环境变量Path中配置了%Hadoop_Home%/bin目录而导致的。

简而言之,是因为配置的系统环境变量Path的任意目录下存在hadoop.dll文件,从而被认为这是一个hadoop集群环境,但是hadoop集群又不支持window环境而产生的异常。处理方法也很简单,检查系统环境变量Path下的每一个目录,确保没有hadoop.dll文件即可。

如果是删除系统环境变量Path的某一个目录,需要重启Intellij Idea后ClassLoader类中的usr_paths或sys_paths才会生效。

 

首页 上一页 1 2 下一页 尾页 2/2/2
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇scala学习之第二天:可变容器与不.. 下一篇play for scala 在模板中格式化Da..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目