TOP

CDH5.14定期清理指南
2019-02-20 00:07:13 】 浏览:764
Tags:CDH5.14 定期 清理 指南

版权声明:本文为博主原创文章,出处为 http://blog.csdn.net/silentwolfyh https://blog.csdn.net/silentwolfyh/article/details/53995576

目录:

1、将HDFS备份数降低

2、删除无用HDFS数据和Hbase表格

3、设置kafka的日志时间

4、删除本机无用文件

5、清理Trash回收站

6、Balancer重新平衡

7、Cloudera监控日志清理



1、将备份数降低
1)将默认的备份数3设置为2。
步鄹:CDH–>HDFS–>配置–>复制因子–>设置为2
这里写图片描述
2)执行命令: hadoop fs -setrep 2 path(记住为根目录 / )
3)重启hdfs
4)结果如下:
这里写图片描述

2、删除无用HDFS数据和Hbase表格
查看HDFS上面文件每个文件大小

hdfs dfs -du -h /

这里写图片描述

可以删除的文件

hdfs dfs -du -h /user/spark/applicationHistory
hdfs dfs -rmr /user/root/.Trash

3、设置kafka的日志时间
这里写图片描述

4、删除本机无用文件
下面是我写的一个shell脚本,可以查看所有目录和文件的大小,将大的无用文件删除

#!/bin/bash

path=$1

dir=$(ls -l $path |awk '/^d/ {print $NF}')
for i in $dir
do
    du -sh $path/$i
done  

这里写图片描述

这里写图片描述

5、清理Trash回收站
HDFS 的Trash回收站功能的配置、使用
http://blog.csdn.net/silentwolfyh/article/details/53907118

**6、Balancer重新平衡 **
1)集群运行一段时间后各个节点的磁盘使用率可能会产生较大的差异,这时可以用balancer来重新平衡各个节点。

2)首先调大balancer的带宽 Hadoop dfsadmin -setBalancerBandwidth 52428800 ,这里设置为50MB。默认的带宽较小,防止占用太多资源。若需要快速平衡可以将带宽调为一个较大的值。

3)接着启动balancer。可以在CM里启动(hdfs-balancer-示例-操作-重新平衡),也可以命令启动(hadoop balancer [-threshold ])。
这里写图片描述

这里写图片描述

7、Cloudera监控日志清理

装cm的机器:/var/lib 路径下有如下文件:有时候根目录空间不够
在这里插入图片描述
在这里插入图片描述
解决方法一:主要清理cloudera-host-monitor 、cloudera-service-monitor
这两个文件下子目录带ts两个字母的目录下都会有partitions,直接清掉就ok
例:subject_ts、ts_subject、ts等带有ts的目录(慎重啊)

解决方法二:firehose.storage.base.directory,将路径设置到其余文件下
在这里插入图片描述


CDH5.14定期清理指南 https://www.cppentry.com/bencandy.php?fid=115&id=209608

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop-->HDFS原理总结 下一篇Hadoop-->HDFS原理总结