HBase的基本定义

HBase是Apache Hadoop中的一个子项目，HBase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用Hadoop的dfs工具就可以看到这些数据。存储文件夹的结构，还可以通过Map/Reduce的框架（算法）对HBase进行操作。

HB使用场景

HBase 不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式，这样方面读写你的大数据内容。

HBase是介于Map Entry(key & value)和DB Row之间的一种数据存储方式。就点有点类似于现在流行的Memcache，但不仅仅是简单的一个key对应一个 value，你很可能需要存储多个属性的数据结构，但没有传统数据库表中那么多的关联关系，这就是所谓的松散数据。

简单来说，你在HBase中的表创建的可以看做是一张很大的表，而这个表的属性可以根据需求去动态增加，在HBase中没有表与表之间关联查询。你只需要 告诉你的数据存储到Hbase的那个column families 就可以了，不需要指定它的具体类型：char,varchar,int,tinyint,text等等。但是你需要注意HBase中不包含事务此类的功 能。

Apache HBase 和Google Bigtable 有非常相似的地方，一个数据行拥有一个可选择的键和任意数量的列。表是疏松的存储的，因此用户可以给行定义各种不同的列，对于这样的功能在大项目中非常实用，可以简化设计和升级的成本。

Hbase与Hadoop的关系

客户端Client是整个HBase系统的入口

客户端使用RPC远程过程调用协议与HMaster和RegionServer进行通信

对于管理类操作Client与HMaster进行RPC通信

对于数据读写类操作Client与RegionServer进行RPC交互

客户端可以是多个，如JAVA API接口，SHELL 命令行接口 AVRO等

Zookeeper消息协调通信

Zookeeper是一个高可用的分布式数据管理与系统协调框架

基于对Paxos算法的实现，使该框架保证了分布式环境中的一致性。

HBase中Zookeeper实例负责协调工作

保证HBase中只有一个HMaster

保存root region的位置 即存储所有region的寻址入口

实时监控regionserver的状态，将regionserver的上线和下线信息实时通知给Master

存储HBase的schema，包括有哪些table，每个table有哪些column family

管理用户对Table的增、删、改、查操作

管理HReginServer的负载均衡，调整Region分布

在Region Split后，负责新Region的分配

在HRegionServer停机后，负责失效HRegionServer上的Regions迁移

HRegionServer主要负责响应用户I/O，向HDFS读写数据，是HBase最核心的模块

HRegionServer内部管理了一系列HRegion对象

每个HRegion对应了Table中的一个Region

HRegion中由多个HStore组成

每个HStore对应了Table中的一个Column Family的存储

HStore存储是HBase存储核心，其中由两部分组成

MemStore:Stored Memory Buffer, 用户写入的数据首先会放入MemStore，

StoreFile:当MemStore满了或者到了一定的时间以后会Flush成一个StoreFile（底层实现是HFile)

当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个StoreFiles合并成一个StoreFile,合并过程中会进行版本合并和数据删除。

HBase其实是有增加数据，所有的更新和删除操作都是在后续的compact过程中进行的，保证了HBase的高性能。

StoreFile在触发Compact操作后，会逐步形成越大的StoreFile，当单个StoreFile大小超过一定阈值，会触发Split操作，同时把当前Region分裂成2个Region，父Region会下线，新分裂的2个字Region会被

HMaster分配到相应的HRegionServer上，使得原来的1个Region的负载压力得以分流到2个Region上。

client 向 regionserver端提交数据的时候，会优先写WAL日志（Hlog)，只有当WAL日志写成功后，client才会告诉提交数据成功，如果写WAL失败会告知客户端提交失败。

一个regionserver上所有的region共享一个HLog,一次数据的提交首先写入WAL，在写入memstore,如果memstore数据丢失可以通过HLog 进行恢复

实现了WAL类的叫做HLog，每个regionserver中都有一个HLog对象，每次操作写入数据到memstore时，也会写一份到HLog文件中，HLog文件定期会更新删除旧的文件（已经持久化到StoreFile中的数据）

存储大量的数据（>TB）

需要很高的写吞吐量

大规模数据集很好性能的随机访问（按列）

需要进行优雅的数据扩展

结构化和半结构化的数据

不需要全部的关系数据库特性，例如交叉列，交叉表，事务，连接等等。

增量数据存储

增量用户社交交互数据

搜索引擎应用

列族不能过多的原因：

1、 HBase的表由一到多个Region组成，Region是由一个到多个HStore组成的；HStore是由一个到多个StoreFile和一个MemStore组成，当单个StoreFile文件大小大于阈值时，会触发Split操作，同时把当前的Region分裂成2个Region。这样的话 如果之前Region有多个列族 而且 数据比例差别很大，这样的话很少的数据却要跨越不同的Region这样不方便查询。

2、数据在写入的时候首先会写入到memstore中，当memstore满了以后才会flush到storefile中。如果列族过多，则flush的时间会很长。