实现Linux中实现HDFS中的基本操作
首先我们需要输入命令启动Hadoop
start-dfs.sh
1. 创建文件夹或目录
我们创建一个aa文件夹,并查看所有文件
创建:hdfs dfs -mkdir /aa
删除:hdfs dfs-rm -r /aa 备注:还有一种方法是 hdfs dfs -rmr /aa 这种方法也能删除但是会出来一个提示不推荐使用,
建议使用 -rm -r
查看:hdfs dfs -ls /
这时候我们去http://master:50070/中去看一下我们创建的文件夹
2. 上传文件
例如我们在我们linux中的一个jdk安装包上传到HDFS总的根目录 命令如下:
通过 -put我们来上传文件
hdfs dfs -putjdk-8u171-linux-x64.rpm hdfs://master:9000/
命令查看是否上传成功:hdfs dfs -ls /
然后我们可以去网页看到新加进去的文件的信息
如上图我们已经成功的从Linux本地中将JDK文件上传到了HDFS根目录下
3.点击上传的文件可以下载到本地中
4.HDFS中的储存路径和本地文件系统无关,测试如下:
我们先删除本地中的JDK安装包
然后我们再从HDFS中下载下来,使用 -get获取到我们想要的文件
现在我们来查看一下HDFS中文件
hdfs dfs -ls /
5.我们现在将HDFS根目录上的JDK文件复制到另一个aa文件夹下,通过 -cp来复制文件到指定路径
现在我们来看aa文件夹内已经有JDK安装包了
6.查看文件大小,
通过 hdfs dfs -du -h / 查看所有文件占用的空间大小(注意每个词中都有空格)
通过 hdfs dfs -df -h /查看空间大小(注意每个词中都有空格)