HDFS Shell 常用命令

命令格式

hadoop fs -cmd [-opt] arg1 arg2 …

关于path：
hdfs: hdfs://namenodehost + absolutePath 简写 absolutePath
本地：file:// + absolutePath 简写 absolutePath 或者相对路径 relatePath

常用命令

hadoop fs -mkdir -p /user/master   //【递归】新建文件夹

hadoop fs -touchz /user/master/test.txt   //新建空文件
hadoop fs -put localfile1 localfile2 /user/master   //上传文件到路径
hadoop fs -get /user/master/test1 /user/master/test2 .   //下载文件到路径 
hadoop fs -copyFromLocal [-f] localfile1 /user/master/file1   //【覆盖】复制本地文件到HDFS
hadoop fs -appendToFile localfile1 localfile2 /user/master/test   //追加到文件（可以多个本地输入，最后一个参数是目标文件）

hadoop fs -ls [-R] [-h] [-S] [-r] /user   //【递归】【人类可识别】【按文件大小排序】【反向排序】列出指定目录下的文件（夹）

hadoop fs -cat /user/master/test.txt   //列出文件内容
hadoop fs -text /user/master/test   //列出文件内容（若是压缩文件先解压缩）
hadoop fs -tail /user/master/log   //显示文件最后1KB
hadoop fs -tail -f /user/master/log   //显示动态文件最后1KB

hadoop fs -rm [-R] /user/master/test.txt   //【递归】删除文件

hadoop fs -test -e PATH   //PATH是否存在(exist)
hadoop fs -test -d PATH   //是否是目录（directory）
hadoop fs -test -f PATH   //是否是文件（file）
hadoop fs -test -s PATH   //路径下是否为空
hadoop fs -test -z PATH   //文件是否为空（zero）

hadoop fs -count [-h] //【人类可识别】计算目标路径下（包含子路径）文件夹个数，文件个数，总大小
hadoop fs -df [-h] /user/master   //【人类可识别】列出HDFS空间使用情况
hadoop fs -du [-s] [-h] /user   //【summary】【人类可识别】列出目标路径下文件（夹）大小

hadoop fs -chgrp [-R] /user/master   //【递归】更改用户组
hadoop fs -chmod [-R] 777 /user/master   //【递归】更改文件(夹)权限
hadoop fs -chown [-R] own[:grp] /user/master   //【递归】修改文件（夹）所有者

hadoop fs -help ls   //查看命令帮助文档