设为首页 加入收藏

TOP

HDFS基本命令
2018-11-13 14:32:40 】 浏览:87
Tags:HDFS 基本 命令
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011380972/article/details/80770283

注: 低版本的HDFS存在 hadoop fs 和 hadoop dfs 两种形式的 hadoop 命令行,但新版本建议只使用前者。本文基于新版本命令行,如下表所示:
命令功能例子
hadoop fs -ls <path>列出文件或目录内容hadoop fs -ls /
hadoop fs -lsr <path>递归的列出目录内容hadoop fs -lsr /
hadoop fs -df <path>查看目录的使用情况hadoop fs -df /
hadoop fs -du <path>显示目录中所有文件及目录的大小hadoop fs -du /
hadoop fs -dus <path>显示<path>目录的总大小hadoop fs -dus /
hadoop fs -count [-q] <path>显示<path>下的目录数及文件数,-q查看文件索引hadoop fs -count /
hadoop fs -mv <src> <dst>将HDFS上的文件移动到目的文件夹hadoop fs -mv /test.txt /root
hadoop fs -rm [-skipTrash] <path>将HDFS上的文件移动到回收站,-skipTrash直接删除hadoop fs -rm /test.txt
hadoop fs -rmr [-skipTrash] <path>将HDFS上的目录及目录下的文件移动到回收站,-skipTrash直接删除hadoop fs -rmr /test
hadoop fs -expunge清空回收站hadoop fs -expunge
hadoop fs -put <localsrc> <dst>将本地文件上传到HDFS文件系统中hadoop fs -put /home/test.txt /user
hadoop fs -copyFromLocal<localsrc> <dst>类似于put,将本地文件复制到HDFS文件系统中hadoop fs -copyFromLocal/home/test.txt /user
hadoop fs-moveFromLocal<localsrc> <dst>将本地文件移动到HDFS文件系统中hadoop fs -moveFromLocal/home/test.txt /user
hadoop fs -get [-ignoreCrc] [-crc] <src> <localdst>将HDFS的文件下载到本地,可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。hadoop fs -get /user/test.txt /home
hadoop fs -getmerge <src> <localdst> [addnl]将HDFS上所有文件按文件名排序并合并成一个文件输出到本地,addnl可指定换行符。hadoop fs -getmerge /user/ /home
hadoop fs -cat <src>查看HDFS上文件的内容hadoop fs -cat /user/test.txt
hadoop fs -text <src>功能类似于cathadoop fs -text /user/test.txt
hadoop fs -copyToLocal[-ignoreCrc] [-crc] <src> <localdst>功能类似于gethadoop fs -copyToLocal/user/test.txt /home
hadoop fs -moveToLocal[-ignoreCrc] [-crc] <src> <localdst>将HDFS上的文件移动到本地hadoop fs -moveToLocal/user/test.txt /home
hadoop fs -mkdir <path>在HDFS上创建目录hadoop fs -mkdir /user/test
hadoop fs -setrep [-R] [-W] <rep> <path/file>设置文件的复制因子,-R递归操作hadoop fs -setrep 5 -R /user/test
hadoop fs -touchz <path>在HDFS中创建一个空文件hadoop fs -touchz /user/test/test.txt
hadoop fs -test -[ezd] <path>检查HDFS文件是否存在,-e检查文件是否存在,-z检查文件是否为0字节,-d检查是否是目录。hadoop fs -test /user/test.txt
hadoop fs -stat [format]显示HDFS中的文件或目录统计信息hadoop fs -stat %b %n %o %r /user/test
hadoop fs -tail [-f] <file>显示HDFS上的文件中的最后1KB的字节,-f会使显示的内容随着文件的更新而更新。hadoop fs -tail -f /user/test.txt
hadoop fs -chmod [-R] <MODE[,MODE]...|OCTALMODE> PATH...

改变HDFS上的文件权限,-R表示执行递归操作。

hadoop fs -chmod -R +r /user/test
hadoop fs -chown[-R] [OWNER] [:[GROUP]] PATH改变HDFS上文件的所属用户,-R表示执行递归操作。hadoop fs -chown -R hadoop:hadoop /user/test
hadoop fs -chgrp [-R] GROUP PATH改变HDFS上文件的所属类别,-R表示执行递归操作。hadoop fs -chgrp -R hadoop /user/test
hadoop fs -help显示所有fs命令的帮助信息hadoop fs -help
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop分布式安装03 下一篇搭建单机集群

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目