设为首页 加入收藏

TOP

hbase regionserver的region到300以上老是挂啊,怎么整
2019-03-29 01:44:32 】 浏览:65
Tags:hbase regionserver region 300 以上 老是 怎么
Hua( 13:11:54

hbase regionserver的region到300以上老是挂啊,怎么整


aperise 13:27:28

首先加内存 然后调整hbase.regionserver.global.memstore.size(默认HEAP_SIZE*0.4)=1.6G和Hbase.regionserver.global.memstore.lowerLimit(hbase.regionserver.global.memstore.size*HEAP_SIZ


aperise 13:28:45

还有就是优化hbase GC


aperise 13:33:12

http://blog.csdn.net/zilong_zilong/article/details/53808912 这里是按照HBASE_HEAPSIZE=4G来推算的 1. 一般通用配置hbase节点内存加大到HBASE_HEAPSIZE=16G 2.GC设置export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -Xmx16g -Xms16g -Xmn512M -XX:SurvivorRatio=1 -XX:PermSize=128M -XX:MaxPermSize=128M -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false -XX:MaxTenuringThreshold=15 -XX:+CMSParallelRemarkEnabled -XX:+UseFastAccessorMethods -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=60 -XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+PrintTenuringDistribution -Xloggc:/opt/hbase-1.2.1/logs/gc-hbase-regionserver.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=1 -XX:GCLogFileSize=512M"


aperise 13:40:46
hbase节点出问题,一般是ZK认为该节点不可用,主动从ZK中踢出了该节点;
该节点发现ZK上自己被踢出,自己发起shutdown关闭服务;
一般解决问题思路是查看该节点的日志,从日志入手解决问题,目前已知如下状况会导致节点宕机:
1)FULL GC,优化GC设置,修改HBASE_REGIONSERVER_OPTS,采用并发回收机制等;
2)所有分区memstore一起flushing,阻塞一切读写,达到ZK超时时间,归根结底是给的内存太少,加大HBASE_HEAPSIZE;

3)split操作阻塞了读写,达到ZK超时时间,提前做规划,提前预分区,放置后期频繁split;


77抽筋le 13:44:43

看日志


77抽筋le 13:45:15

region数太多,容易触发regionserver级别的memstore flush,这个是严重影响性能的,另外,可以升级hbase,考虑用G1 GC,不采用CMS


77抽筋le 13:45:51

单纯加内存,没法解决问题


aperise 13:49:03
恩 说的对 hbase性能优化要考虑各种因素 http://abloz.com/hbase/book.html


77抽筋le 13:52:58

单台rs,region数达到300,承载量已经很大了,可以考虑加机器,调整参数,等,不过所有优化的第一步,是找到需要优化的点,对于你这种情况,需要分析出,rs挂掉的原因是什么,挂掉时在做什么,然后找对应的优化策略


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇黑猴子的家:HBase 历史命令查看 下一篇HBase分页查询---指定PageNumber..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目