设为首页 加入收藏

TOP

hdfs基本命令操作
2019-04-14 12:11:29 】 浏览:10
Tags:hdfs 基本 命令 操作

hdfs基本命令操作

使用oiv查看hadoop镜像文件

进入hadoop name目录下,/home/hadoop/hadoop/tmp/dfs/name/current。

输入: "hdfs oiv"查看oiv命令使用详情。


hdfs oiv -i fsimage_0000000000000000128 -o a.xml -p XML

可以使用编辑器查看xml文件,上面维护着文件的目录、权限、block等信息。

滚动编辑日志

hdfs dfsadmin -rollEdits		//滚动编辑日志

启动hdfs时,镜像文件编辑日志进行融合,编辑日志滚动,也可以使用上述命令执行操作。

hdfs是否在安全模式

	$>hdfs dfsadmin -safemode  enter		//进入
	$>hdfs dfsadmin -safemode  get			//查看
	$>hdfs dfsadmin -safemode  leave		//退出
	$>hdfs dfsadmin -safemode  wait			//等待
编写向hdfs中put,delete命令脚本时,在执行命令前写上“hdfs dfsadmin -safemode wait”如果hdfs在安全模式,写入脚本就会阻塞等待,直到hdfs离开安全模式才执行脚本,就不会立刻报错退出。

配额(指标)管理,quota

	$>hdfs dfsadmin -setQuota 1 dir1 dir2		//设置目录配额
	$>hdfs dfsadmin -clrQuota 1 dir1 dir2		//清除配额管理
目录配额管理,上述命令设置dir1、dir2文件夹下(递归所有文件)文件的数量不能超过的个数,由于dir本身算一个文件,所以dir1、dir2下文件或文件夹的数量为0,put操作会报错。

	$>hdfs dfsadmin -setSpaceQuota 3 data
	$>hdfs dfsadmin -clrSpaceQuota dir1			//清除配额管理
空间配额管理,设置"data"目录下的容量不能超过3byte

快照管理

	//描述
	  //迅速对文件(夹)进行备份。不产生新文件,使用差值存储。
	  //默认是禁用快照,先启用。
	//命令
	  hdfs dfsadmin -allowSnapShot dir1		//在dir1启用快照
	  hdfs dfsadmin -disallowSnapShot dir1	//在dir1启用快照
	  hdfs dfs -createSnapshot dir ss1		//创建快照
	  hdfs dfs -renameSnapshot dir ss1 ss2	//重命名
	  hdfs dfs -deleteSnapshot dir ss1		//删除快照

编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇本地文件上传至hdfs文件系统 下一篇使用HDFS fsck api在页面上快速查..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }