设为首页 加入收藏

TOP

HBase表设计原则整理
2019-04-24 01:47:03 】 浏览:55
Tags:HBase 设计 原则 整理
[b]1、列簇的设计[/b]
[list]
[*]列簇尽量少,最好不超过3个。因为每个列簇是存在一个独立的HFile里的,flush和compaction操作都是针对一个Region进行的,当一个列簇的数据很多需要flush的时候,其它列簇即使数据很少也需要flush,这样就产生的大量不必要的io操作。
[*]在多列簇的情况下,注意各列簇数据的数量级要一致。如果两个列簇的数量级相差太大,会使数量级少的列簇的数据扫描效率低下。
[*]将经常查询和不经常查询的数据放到不同的列簇。
[*]因为列簇和列的名字会存在HBase的每个Cell中,所以他们的名字应该尽可能的短。比如,用f:q代替mycolumnfamily:mycolumnqualifier
[/list]
[b]2、rowkey的设计[/b]
[list]
[*] 避免使用递增的数字或时间做为rowkey。
[*] 如果rowkey是整型,用二进制的方式比用string来存储更节约空间
[*] 合理的控制rowkey的长度,尽可能短,因为rowkey的数据也会存在每个Cell中。
[*] 如果需要将表预分裂为多个region是,最好自定义分裂的规则。
[/list]

参考文献:
[list]
[*]http://www-01.ibm.com/support/knowledgecenter/SSPT3X_2.1.2/com.ibm.swg.im.infosphere.biginsights.analyze.doc/doc/bigsql_designhints.html
[*]http://hbase.apache.org/book/number.of.cfs.html
[*]http://hbase.apache.org/book/columnfamily.html
[/list]
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hbase协处理器介绍 下一篇从hbase到hbase数据传输

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目