Hbase的数据迁移方式
1.使用Export/Import
格式:hbase
org.apache.hadoop.hbase.mapreduce.Export table /user/table [versions] [starttime] [stoptime]
hbase org.apache.hadoop.hbase.mapreduce.Import table/user/table
2.使用coytable
格式:hbase
org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=zookeeper1,zookeeper2,zookeeper3:/hbase 'table'
3.直接拷贝hdfs文件
然后使用自己生成元数据
分析一下Export/Import方式:
Export操作会根据region数量产生对应数量的Map,没有Reduce阶段,直接导出SequenceFile的格式
Import操作有个选项是否生成HFile方式,如不开启则只有Map阶段,读取SequenceFile文件,由于文件可切分,会有一堆map task,然后调用BufferedMutator.mutate异步写入到hbase。
若使用HFile,则Map阶段仅仅是把数据转成KeyValue的格式,输出(rowkey,keyvalue),Reduce阶段使用KVComparator对keyvalue排序,然后输出有序的(rowkey,keyvalue),输出使用HFileOutputFormat2的RecordWriter,它调用StoreFile.Writer-->HFileWriterV2-->HFileBlock-->write使用DataOutputStream写入编码后的数据到HDFS