TOP

大数据系列之数据库Hbase知识整理(七)扫描器缓存与批量扫描
2019-02-12 13:35:38 】 浏览:46
Tags:数据 系列 数据库 Hbase 知识 整理 扫描器 批量 扫描

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011444062/article/details/81146365

到目前为之,每一个next()调用都会为每行数据生成一个单独的RPC请求,即使使用next(int nbRow)方法,也是如此,因为该方法仅仅是在客户端循环地调用next()方法。很显然,当单元格数据较小时,这样做的性能不会很好。因此,如果一次RPC请求可以获取多行数据,这样会更有意义,更加节约资源的使用,减少负载。这样的方法可以由扫描器缓存(scanner caching)实现,默认情况下,这个缓存是关闭的。可以在两个层面上打开他:在表的层面上,这个表所有扫描实例的缓存都会生效;也可以在扫描层面,这样便只会影响当前的扫描实例。

1.开启服务器端扫描器缓存
a)表层面(全局)
<property>
<name>hbase.client.scanner.caching</name>
<!-- 整数最大值 -->
<value>2147483647</value>
<source>hbase-default.xml</source>
</property>

b)操作层面
//设置量
scan.setCaching(10);

代码:

@Test
/**
  * @Description: 扫描器缓存,面向行
  * @param ${tags}
  * @return ${return_type}
  * @throws
  * @author 邹培贤
  * @date 2018/7/21 15:23
  */
public void getScanCache() throws IOException {
    Configuration conf = HBaseConfiguration.create();
    Connection conn = ConnectionFactory.createConnection(conf);
    TableName tableName = TableName.valueOf("ns1:t1");
    Scan scan = new Scan();
   //缓存5000行数据,10000条数据只需要2次rpc请求
    scan.setCaching(5000);
    Table table = conn.getTable(tableName);
    ResultScanner rs = table.getScanner(scan);
    long start = System.currentTimeMillis();
    Iterator<Result> iterator = rs.iterator();
    while(iterator.hasNext()){
        Result r = iterator.next();
        System.out.println(r.getColumnLatestCell(Bytes.toBytes("f1"), Bytes.toBytes("name")));
    }
    System.out.println(System.currentTimeMillis()-start);

}

但是,有一个问题存在,那就是,我们如果缓存了太多的数据,直接发给客户端使用,有可能造成客户端无法承受,造成客户端的压力过大。有什么好的方法可以解决呢,那就是使用批处理扫描,就是把从服务器获得的缓存数据再进行按照列的切割,客户端没次next()就会获得由缓存数据切分的多列数据,直到调用完数据这样就不会给客户端造成太大的压力。

@Test
 /**
   * @Description:批量扫描,面向列
   * @param ${tags}
   * @return ${return_type}
   * @throws
   * @author 邹培贤
   * @date 2018/7/21 15:33
   */
public void testBatchAndCaching() throws IOException {
     Configuration conf = HBaseConfiguration.create();
     Connection conn = ConnectionFactory.createConnection(conf);
     TableName tableName = TableName.valueOf("ns1:t7");
     Scan scan=new Scan();
     //每次缓存多少行数据
     scan.setCaching(2);
     //将缓存的行数据切分4列,每次调用就会返回每行数据的4列数据
     scan.setBatch(4);
     Table table = conn.getTable(tableName);
     ResultScanner rs = table.getScanner(scan);
     Iterator<Result> iterator = rs.iterator();
     while(iterator.hasNext()){
         Result r = iterator.next();
         //得到一行的所有map,key=f1,value=Map<Col,Map<Timestamp,value>>
         NavigableMap<byte[], NavigableMap<byte[], NavigableMap<Long, byte[]>>> map = r.getMap();
         for(Map.Entry<byte[], NavigableMap<byte[], NavigableMap<Long, byte[]>>> entry:map.entrySet()){
             //得到列族
             String f = Bytes.toString(entry.getKey());
             NavigableMap<byte[], NavigableMap<Long, byte[]>> colDataMap = entry.getValue();
             for(Map.Entry<byte[], NavigableMap<Long, byte[]>> ets:colDataMap.entrySet()){
                 String c = Bytes.toString(ets.getKey());
                 NavigableMap<Long, byte[]> tsValueMap = ets.getValue();
                 for(Map.Entry<Long, byte[]> e :tsValueMap.entrySet()){
                     Long ts = e.getKey();
                     String value = Bytes.toString(e.getValue());
                     System.out.print(f + "/" + c + "/" + ts + "=" + value + ",");
                 }
             }

         }
         System.out.println();

     }

 }

大数据系列之数据库Hbase知识整理(七)扫描器缓存与批量扫描 https://www.cppentry.com/bencandy.php?fid=118&id=208204

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HBase 协处理器 (二) 下一篇hbase和hdfs的一些故事