设为首页 加入收藏

TOP

hadoop 2.8 hdfs 命令错误总结
2019-01-03 12:13:07 】 浏览:52
Tags:hadoop 2.8 hdfs 命令 错误 总结
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_15139393/article/details/73853059

第一步格式化namenode

hadoopnamenode -format

面我们再看每一个{dfs.name.dir}下存放的文件,执行-format后会在文件夹下生成{dfs.name.dir}/current/fsimage,{dfs.name.dir}/current/edits, {dfs.name.dir}/current/fstime,{dfs.name.dir}/current/VERSION,{dfs.name.dir}/image/fsimage。下面说一下这些文件的具体作用:

fsimage:存储命名空间(实际上就是目录和文件)的元数据信息;

edits:用来存储对命名空间操作的日志信息,实现namenode节点的恢复;

fstime:用来存储check point 的时间;

VERSION:存放namenode的版本信息;

/image/fsimage: 上一次提交前的/current/fsimage文件。

2.8format产生的文件不是这样的,他有eidt-000000000000这样的文件多个

edits_0000000000000000129-0000000000000000130
edits_0000000000000000131-0000000000000000132
edits_0000000000000000133-0000000000000000134
edits_0000000000000000135-0000000000000000136
edits_0000000000000000137-0000000000000000138
edits_0000000000000000139-0000000000000000140
edits_0000000000000000141-0000000000000000142
edits_0000000000000000143-0000000000000000144
edits_inprogress_0000000000000000145
fsimage_0000000000000000000
fsimage_0000000000000000000.md5
seen_txid
VERSION


在centos 6 上运行hdfs命令会因为底层 c语言库不支持导致报这个错

Unable to load native-hadoop library for your platform...

使用命令:

  • hadoop dfs -mkdir /x
  • hdfs dfs -mkdir -p hdfs://localhost:9000/x
是可以创建成功,但是有警告。建议使用centos7 或者
GLIBC_2.14更高级的版本

原因:

[hadoop@VMWHADTEST01 native]$ ldd libhadoop.so.1.0.0
./libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so.1.0.0)
linux-vdso.so.1 =>  (0x00007fff43510000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f9be553a000)
libc.so.6 => /lib64/libc.so.6 (0x00007f9be51a5000)
/lib64/ld-linux-x86-64.so.2 (0x00007f9be5966000)


版本升级我没有做直接换了centos7

使用命令创建文件夹

  • hadoop fs -mkdir /x
会报这个错

hadoop fs -mkdir /y
17/06/28 17:30:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

但是文件会创建。命令不对,建议使用命令

  • hdfs dfs -mkdir /x
  • hdfs dfs -mkdir -p hdfs://localhost:9000/x
查看命令

  • hadoop dfs -ls /

hadoop fs -mkdir /x 是1.x版本的命令
2.x 版本使用命令
hdfs dfs -mkdir /x 只不过是fs 变为了dfs



】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HDFS入门之Shell基本操作 下一篇springboot上传下载文件(3)--ja..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目