设为首页 加入收藏

TOP

hbase添加大文件
2019-04-28 01:49:46 】 浏览:45
Tags:hbase 加大 文件

一直使用hbase作大容量存储,因为hbase易于存取。

今天,在录入数据的时候,突然报出一个KeyValue size too large。很是奇怪。

后来发现,该数据特别大,经查源码

private void validatePut(final Put put) throws IllegalArgumentException{
    if (put.isEmpty()) {
      throw new IllegalArgumentException("No columns to insert");
    }
    if (maxKeyValueSize > 0) {
      for (List<KeyValue> list : put.getFamilyMap().values()) {
        for (KeyValue kv : list) {
          if (kv.getLength() > maxKeyValueSize) {


            throw new IllegalArgumentException("KeyValue size too large");
          }
        }
      }
    }
  }

说明当某一列的值大于该值的时候,将会抛出该异常,又查看maxKeyValueSize,发现它调用的是hbase配置里的hbase.client.keyvalue.maxsize,默认大小为10M,即 10485760 。将它改大即可。

但是,当我修改完以后,启动hbase总是出问题,后来又将hbase-env.sh里的HBASE_HEAPSIZE改大。

后来又将mapred-site.xml中的mapred.tasktracker.indexcache.mb改大,至于大于hbase.client.keyvalue.maxsize,不知道有没有影响,以防万一吧,我觉得hbase的执行应该是跟job有关系的吧。

请大家多多指教

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hbase 布隆过滤器 下一篇HBase的实现基础 Google Bigtable..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目