版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011380972/article/details/80770283
注: 低版本的HDFS存在 hadoop fs 和 hadoop dfs 两种形式的 hadoop 命令行,但新版本建议只使用前者。本文基于新版本命令行,如下表所示:
命令 | 功能 | 例子 |
hadoop fs -ls <path> | 列出文件或目录内容 | hadoop fs -ls / |
hadoop fs -lsr <path> | 递归的列出目录内容 | hadoop fs -lsr / |
hadoop fs -df <path> | 查看目录的使用情况 | hadoop fs -df / |
hadoop fs -du <path> | 显示目录中所有文件及目录的大小 | hadoop fs -du / |
hadoop fs -dus <path> | 显示<path>目录的总大小 | hadoop fs -dus / |
hadoop fs -count [-q] <path> | 显示<path>下的目录数及文件数,-q查看文件索引 | hadoop fs -count / |
hadoop fs -mv <src> <dst> | 将HDFS上的文件移动到目的文件夹 | hadoop fs -mv /test.txt /root |
hadoop fs -rm [-skipTrash] <path> | 将HDFS上的文件移动到回收站,-skipTrash直接删除 | hadoop fs -rm /test.txt |
hadoop fs -rmr [-skipTrash] <path> | 将HDFS上的目录及目录下的文件移动到回收站,-skipTrash直接删除 | hadoop fs -rmr /test |
hadoop fs -expunge | 清空回收站 | hadoop fs -expunge |
hadoop fs -put <localsrc> <dst> | 将本地文件上传到HDFS文件系统中 | hadoop fs -put /home/test.txt /user |
hadoop fs -copyFromLocal<localsrc> <dst> | 类似于put,将本地文件复制到HDFS文件系统中 | hadoop fs -copyFromLocal/home/test.txt /user |
hadoop fs-moveFromLocal<localsrc> <dst> | 将本地文件移动到HDFS文件系统中 | hadoop fs -moveFromLocal/home/test.txt /user |
hadoop fs -get [-ignoreCrc] [-crc] <src> <localdst> | 将HDFS的文件下载到本地,可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。 | hadoop fs -get /user/test.txt /home |
hadoop fs -getmerge <src> <localdst> [addnl] | 将HDFS上所有文件按文件名排序并合并成一个文件输出到本地,addnl可指定换行符。 | hadoop fs -getmerge /user/ /home |
hadoop fs -cat <src> | 查看HDFS上文件的内容 | hadoop fs -cat /user/test.txt |
hadoop fs -text <src> | 功能类似于cat | hadoop fs -text /user/test.txt |
hadoop fs -copyToLocal[-ignoreCrc] [-crc] <src> <localdst> | 功能类似于get | hadoop fs -copyToLocal/user/test.txt /home |
hadoop fs -moveToLocal[-ignoreCrc] [-crc] <src> <localdst> | 将HDFS上的文件移动到本地 | hadoop fs -moveToLocal/user/test.txt /home |
hadoop fs -mkdir <path> | 在HDFS上创建目录 | hadoop fs -mkdir /user/test |
hadoop fs -setrep [-R] [-W] <rep> <path/file> | 设置文件的复制因子,-R递归操作 | hadoop fs -setrep 5 -R /user/test |
hadoop fs -touchz <path> | 在HDFS中创建一个空文件 | hadoop fs -touchz /user/test/test.txt |
hadoop fs -test -[ezd] <path> | 检查HDFS文件是否存在,-e检查文件是否存在,-z检查文件是否为0字节,-d检查是否是目录。 | hadoop fs -test /user/test.txt |
hadoop fs -stat [format] | 显示HDFS中的文件或目录统计信息 | hadoop fs -stat %b %n %o %r /user/test |
hadoop fs -tail [-f] <file> | 显示HDFS上的文件中的最后1KB的字节,-f会使显示的内容随着文件的更新而更新。 | hadoop fs -tail -f /user/test.txt |
hadoop fs -chmod [-R] <MODE[,MODE]...|OCTALMODE> PATH... | 改变HDFS上的文件权限,-R表示执行递归操作。 | hadoop fs -chmod -R +r /user/test |
hadoop fs -chown[-R] [OWNER] [:[GROUP]] PATH | 改变HDFS上文件的所属用户,-R表示执行递归操作。 | hadoop fs -chown -R hadoop:hadoop /user/test |
hadoop fs -chgrp [-R] GROUP PATH | 改变HDFS上文件的所属类别,-R表示执行递归操作。 | hadoop fs -chgrp -R hadoop /user/test |
hadoop fs -help | 显示所有fs命令的帮助信息 | hadoop fs -help |