设为首页 加入收藏

TOP

HBase使用压缩存储(snappy)
2019-04-28 01:46:05 】 浏览:60
Tags:HBase 使用 压缩 存储 snappy

在将mysql数据导入到hbase数据的过程中,发现hbase的数据容量增加很快,

原本在mysql存储30G容量的数据导入到hbase一直增加到快150G(还未完全导入,手动结束),

而采用默认3个备份储存的话,基本上真个集群有450G的容量。

查看了一些资料,发现hbase的储存确实耗空间,一般hbase采用压缩算法来解决,其中snappy

的算法收到Google的推崇,而且CDH中,直接安装了snappy的库,所以直接用了。

hbase> disable 'test'

hbase> alter 'test', {NAME => 'cf', COMPRESSION => 'SNAPPY'}

hbase> enable 'test'

使用后,没有立即生效,按照一些资料执行major_compact命令后,也没有发现生效,

但是过了一段时间以后发现表的容量变化了,压缩前原本150G,压缩后15G左右(查资料压缩率最好效果22%左右,这个还没有大量测试)

效果还比较明显。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hbase 表名修改 下一篇Spark 操作Hbase 对表的操作:..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目