设为首页 加入收藏

TOP

Hadoop - HDFS 命令
2018-12-05 16:19:26 】 浏览:71
Tags:Hadoop HDFS 命令
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/myt0929/article/details/80461743

如下是常用的HDFS命令,用于上传文件、删除HDFS上的目录、启动一个作业等操作。

一、hadoop命令

1.1 hadoop fs

hadoop fs 系列指令是对HFDS文件系统的操作,类似于linux文件系统的操作,比如查看目录结构 hadoop fs -ls / ,再比如上传一个文件 hadoop fs -put xxx.log /。
注意, hadoop fs -ls 后面不加地址,默认显示的是HDFS:/user/${user}/下的内容。${user}就是运行 hadoop fs -ls 的linux用户名。

1.2 hadoop version

查看hadoop版本信息等等。

1.3 hadoop jar(尽量用yarn jar)

用于运行一个jar包,用于任务提交、测试jar等。

1.4 hadoop checknative

显示hdfs上哪些压缩的存储方式。

1.5 hadoop classpath

显示hadoop java的环境。用于显示、增加jar库位置的环境变量。

二、hdfs命令

2.1 hdfs dfs

其实就是hadoop fs 命令

2.2 hdfs namenode -format

将linux文件目录格式成dfs文件系统,这个只在第一次namenode初始化的时候使用。

2.3 hdfs dfsadmin

这也是一个命令集,常用带-safemode 这个参数,这个参数进入或离开安全模式。还有-report这个参数,报告集群状态。

2.4 hdfs fsck

用来检查集群文件损坏的块状况。

三、yarn命令

3.1 yarn application -list

这个命令查看正在作业的任务状态和信息。

3.2 yarn application -kill xxxx_jobappid

这个命令是杀死正在作业的任务。

3.3 yarn jar

提交jar包,进行计算。

辅助知识点

1、垃圾回收

hadoop有一个像windows一样的垃圾回收站功能,就是说,你删除一个hdfs上的一个文件,可以还原该文件。叫做trash机制

1、打开trash机制 修改core-site.sh 在每一个节点上

<property>
<!--。。。。-->
    <name>fs.trash.checkpoint.interval</name>
    <value>0</value>
</property>

<property>
<!--在垃圾箱内多长时间会被删除-->
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

2、重启下
3、操作
如果删除,实际是移到了.Trash的文件夹(回收站),要还原,只需要在用hdfs dfs -mv 移出来就好了。
4、如果想直接删除
hdfs dfs -rm -skipTrash 跳过垃圾回收箱
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇未完待续   HDFS中使用had.. 下一篇sqoop   把 hdfs 和关系型数..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目