设为首页 加入收藏

TOP

hadoop fuse挂载问题 (fuse-dfs didn't recognize /tmp/hdfs, -2)
2018-11-22 16:06:55 】 浏览:45
Tags:hadoop fuse 问题 fuse-dfs didn' recognize /tmp/hdfs

使用fuse-dfs挂载HDFS时,使用命令

./fuse_dfs_wrapper.sh dfs://10.10.102.41:9000 /tmp/hdfs

想要把HDFS mount到/tmp/hdfs下面,总是遇到 port=9000,server=10.10.102.41 fuse-dfs didn't recognize /tmp/hdfs,-2 的错误,core-xml的dfs.default.name是用ip配置的,端口也是9000,但是就是挂载不了,该怎么解决这个错误,Scientific 6.1+hadoop-0.21.0+fuse-2.7.4.


依据上面的环境(Scientific 6.1+hadoop-0.21.0+fuse-2.7.4),查看/var/log/message 里的错误,每次使用命令

./fuse_dfs_wrapper.sh dfs://10.10.102.41:9000 /tmp/hdfs

都能出现上面的 fuse-dfs didn't recognize /tmp/hdfs,-2 的错误,而在/var/log/message 日志文件里显示的是:

ERROR: could not connect to 10.10.102.41:9000 fuse_impls_getattr.c:37

根据上面的错误找到源码,错误出现在hadoop-0.21.0\hadoop-0.21.0\hdfs\src\contrib\fuse-dfs\src下面的fuse_impls_getattr.c源码中,如下面的显示的其中一段:

int dfs_getattr(const char *path, struct stat *st)
{
     TRACE1("getattr", path)

     // retrieve dfs specific data
28.  dfs_context *dfs = (dfs_context*)fuse_get_context()->private_data;

     // check params and the context var
     assert(dfs);
     assert(path);
     assert(st);

     // if not connected, try to connect and fail out if we can't.
36.  if (NULL == dfs->fs && NULL == (dfs->fs = hdfsConnect(dfs->nn_hostname,dfs->nn_port))) {
37.    syslog(LOG_ERR, "ERROR: could not connect to %s:%d %s:%d\n", dfs->nn_hostname, dfs->nn_port,__FILE__, __LINE__);
       return -EIO;
     }

/var/log/message出现的错误在第37行,而在28行dfs_context *dfs = (dfs_context*)fuse_get_context()->private_data 那里我调试了程序,打印出了dfs->dfs->nn_hostname和dfs->nn_port的值都是匹配的,但是dfs->fs却是NULL。而在36行那里我修改为if(NULL == (dfs->fs = hdfsConnect(dfs->nn_hostname,dfs->nn_port)))进行了调试,获取得到的dfs->fs仍然还是为空,这也是一直出现 fuse-dfs didn't recognize /tmp/hdfs,-2 错误的原因,因为dfs->fs一直未能获得HDFS的文件handle句柄。


我的疑问一:

hdfsConnect(dfs->nn_hostname,dfs->nn_port)这个函数是否未得到执行,这个函数是在hdfs.h里面声明的,在hdfs.c里面实现。

起初,以为是fuse-dfs源码问题,于是通过SVN更新了hadoop-0.21.0\hadoop-0.21.0\hdfs\src\contrib\fuse-dfs 进行重新的编译,编译成功后,进行

./fuse_dfs_wrapper.sh dfs://10.10.102.41:9000 /tmp/hdfs
挂载,虽然不再出现 fuse-dfs didn't recognize /tmp/hdfs,-2 的错误,依旧挂载不成功,再次查看了/var/log/message日志文件,找到更新后的hadoop-0.21.0\hadoop-0.21.0\hdfs\src\contrib\fuse-dfs\src的错误源:

错误来自于下面的子函数中的98行:ERROR:Unable to create fs for user root (我用的是root挂载,用其他用户也是如此)
hdfsFS doConnectAsUser(const char *hostname, int port) {
    uid_t uid = fuse_get_context()->uid;
    char *user = getUsername(uid);
    int ret;
    hdfsFS fs = NULL;
    if (NULL == user) {
        goto done;
    }

    ret = pthread_mutex_lock(&tableMutex);
    assert(0 == ret);

    fs = findFs(user);
    if (NULL == fs) {
96.     fs = hdfsConnectAsUserNewInstance(hostname, port, user);
97.     if (NULL == fs) {
98.     ERROR("Unable to create fs for user %s", user);
        goto done;

        if (-1 == insertFs(user, fs)) {
            ERROR("Unable to cache fs for user %s", user);
        }
    }

出错的原因在执行96: fs = hdfsConnectAsUserNewInstance(hostname, port, user); 后得到的fs仍然我NULL,而hdfsConnectAsUserNewInstance也是声明在hdfs.h,实现在hdfs.c函数当中,但是当执行了上面的 fs = hdfsConnectAsUserNewInstance(hostname, port, user),参数hostname,port,user我调试了都是对应正确的,但是fs得到的值仍然是NULL,出错的本质跟上面未改变源码时的情况一样,依旧是无法获取到FS的句柄,我也看了hdfs.c和hdfs.h这两个文件,hdfs.h负责声明,hdfs.c负责实现,而在hadoop0.21.0中在未编译之前还有这个文件libhdfs.so的库文件,是否在执行过程中调用的是这个库文件去执行,而在我成功编译后在对应的编译目录也出现了libhdfs.so,libhdfs.so.0 libhdfs.so.0.0.0对应的库文件。


我的疑问二:

上面的错误都出现在hdfs.c中的函数里,而出错的原因都是无法获取fs的句柄,而防火墙确实是已经关了,但是fs依然是NULL,猜想应该出错在hdfs.c这部分,因为不了解hdfs.h,hdfs.c,libhdfs.so 这几个文件的原因不知道如何去解决这个问题。


找到原因,主要是jar包问题,源码没有问题,CLASSPATH必须完整的设置出hadoop的各个jar包,网上google下发现hadoop有个ClASSPATH的bug,大概是发现不了jar导致的fuse-dfs didn't recognize /tmp/hdfs,-2,虽然会出现这个提示,但是查看的/var/log/message是可以成功挂载上去的。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇DistributedCache   FileNot.. 下一篇Permission denied: user=root, a..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目