设为首页 加入收藏

TOP

Linux中HDFS简单的shell操作
2018-12-13 16:16:21 】 浏览:83
Tags:Linux HDFS 简单 shell 操作

实现Linux中实现HDFS中的基本操作

首先我们需要输入命令启动Hadoop

start-dfs.sh

1. 创建文件夹或目录

我们创建一个aa文件夹,并查看所有文件

创建:hdfs dfs -mkdir /aa

删除:hdfs dfs-rm -r /aa 备注:还有一种方法是 hdfs dfs -rmr /aa 这种方法也能删除但是会出来一个提示不推荐使用,

建议使用 -rm -r

查看:hdfs dfs -ls /

这时候我们去http://master:50070/中去看一下我们创建的文件夹

2. 上传文件

例如我们在我们linux中的一个jdk安装包上传到HDFS总的根目录 命令如下:

通过 -put我们来上传文件

hdfs dfs -putjdk-8u171-linux-x64.rpm hdfs://master:9000/

命令查看是否上传成功:hdfs dfs -ls /

然后我们可以去网页看到新加进去的文件的信息

如上图我们已经成功的从Linux本地中将JDK文件上传到了HDFS根目录下

3.点击上传的文件可以下载到本地中

4.HDFS中的储存路径和本地文件系统无关,测试如下:

我们先删除本地中的JDK安装包

然后我们再从HDFS中下载下来,使用 -get获取到我们想要的文件

现在我们来查看一下HDFS中文件

hdfs dfs -ls /

5.我们现在将HDFS根目录上的JDK文件复制到另一个aa文件夹下,通过 -cp来复制文件到指定路径

现在我们来看aa文件夹内已经有JDK安装包了

6.查看文件大小,

通过 hdfs dfs -du -h / 查看所有文件占用的空间大小(注意每个词中都有空格)

通过 hdfs dfs -df -h /查看空间大小(注意每个词中都有空格)

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇大数据的Hdfs与MapReduce介绍 下一篇第3章 认识HDFS习题

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目