设为首页 加入收藏

TOP

hdfs磁盘均衡
2019-04-14 12:19:53 】 浏览:26
Tags:hdfs 磁盘 均衡
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/woloqun/article/details/86484201

背景:
之前hdfs磁盘使用率已经达到了80%以上,所以对每台机器增加了3块1TB的硬盘,加完硬盘后立马对集群进行了一次Balancer,各个节点数据总量确实得到均衡,但是各个磁盘数据并没有想象中均匀分布,新磁盘的数据很少,大部分数据还是分布在老磁盘上,就像下边

[hdfs@hadoop ~]$ df -hl
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        40G   26G   12G  70% /
tmpfs            32G  8.0K   32G   1% /dev/shm
/dev/vdb1      1008G  738G  220G  78% /data
/dev/vdc1        99G   11G   83G  12% /data2
/dev/vdd1       2.0T  953G  961G  50% /data3
/dev/vde       1008G  174G  784G  19% /data4
/dev/vdf       1008G  175G  782G  19% /data5
/dev/vdg       1008G  171G  787G  18% /data6

查阅文档,Balancer均衡是属于节点级别的,它不管节点下磁盘的数据分布,所以想要磁盘数据进行均衡就需要使用磁盘均衡器diskbalancer;具体步骤如下
1.创建均衡任务并生成计划任务配置文件

[hdfs@hadoop ~]$ hdfs diskbalancer -plan hadoop
19/01/14 21:14:14 INFO planner.GreedyPlanner: Starting plan for Node : hadoop:50020
19/01/14 21:14:14 INFO planner.GreedyPlanner: Disk Volume set 39a804ea-86f0-4da4-af15-b869bca20901 Type : DISK plan completed.
19/01/14 21:14:14 INFO planner.GreedyPlanner
		    

: Compute Plan for Node : hadoop:50020 took 16 ms 19/01/14 21:14:14 INFO command.Command: Writing plan to : /system/diskbalancer/2019-Jan-14-21-14-13

2.查看配置文件

[hdfs@hadoop ~]$ hdfs dfs -ls  /system/diskbalancer/2019-Jan-14-21-14-13
Found 2 items
-rw-r--r--   3 hdfs supergroup       7657 2019-01-14 21:14 /system/diskbalancer/2019-Jan-14-21-14-13/hadoop.before.json
-rw-r--r--   3 hdfs supergroup       2460 2019-01-14 21:14 /system/diskbalancer/2019-Jan-14-21-14-13/hadoop.plan.json

3.启动均衡任务

hdfs diskbalancer -execute /system/diskbalancer/2019-Jan-14-21-14-13/hadoop.plan.json

4.查看状态

[hdfs@hadoop ~]$  hdfs diskbalancer -query hadoop:50020
19/01/14 21:17:45 INFO command.Command: Executing "query plan" command.
Plan File: /system/diskbalancer/2019-Jan-14-21-14-13/hadoop.plan.json
Plan ID: 6adb6a6e19fa29731e71ec5e3b05d006759a526b
Result: PLAN_UNDER_PROGRESS

完成后的状态,耗时大约18Hours

[hdfs@hadoop ~]$ df -hl
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        40G   26G   12G  70% /
tmpfs            32G  8.0K   32G   1% /dev/shm
/dev/vdb1      1008G  412G  545G  44% /data
/dev/vdc1        99G   11G   83G  12% /data2
/dev/vdd1       2.0T  790G  1.1T  42% /data3
/dev/vde       1008G  345G  612G  37% /data4
/dev/vdf       1008G  364G  593G  39% /data5
/dev/vdg       1008G  364G  593G  39% /data6

[hdfs@hadoop ~]$  hdfs diskbalancer -query hadoop:50020
19/01/15 13:23:33 INFO command.Command: Executing "query plan" command.
Plan File: /system/diskbalancer/2019-Jan-14-21-14-13/hadoop.plan.json
Plan ID: 6adb6a6e19fa29731e71ec5e3b05d006759a526b
Result: PLAN_DONE

每个需要均衡的节点都要进行如上操作


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇客户端对HDFS的操作 下一篇hdfs定时上传shell的案例 -- (..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }