设为首页 加入收藏

TOP

Oracle GoldenGate 同步数据至Hbase
2018-12-11 17:21:08 】 浏览:834
Tags:Oracle GoldenGate 同步 数据 Hbase
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Return42/article/details/79789526

1软件版本说明:

Goldengate 12c 12.2.0.1 for Oracle(源端

Goldengate 12c 12.3.0.1 for Bigdata (目标端)

Hadoop 2.6.4(安装参考我的博客 https://blog.csdn.net/Return42/article/details/79786612

Oracle 12c(安装参考我的博客 https://blog.csdn.net/return42/article/details/79786724

HBase1.2.6(安装参考我的博客https://blog.csdn.net/return42/article/details/79786541

Java1.8

2机器IP说明

源端IP地址(192.168.107.20)安装 Oracle12c,Oracle GoldenGate

目标端IP地址(192.168.107.23),安装Hbase,OracleGoldenGate for BigData

3源端的配置

参考我的博客( https://blog.csdn.net/return42/article/details/79786879

4目标 端的配置

#在用户家目录下的 ~/.bash_profile中配置用户的JAVA_HOME,以及LIB_PATH 环境变量。


export PATH

export JAVA_HOME=/opt/jdk

exportLD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$JAVA_HOME/jre/lib/amd64/server/libjsig.so:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64

#使新加入的环境变量生效

source ~/.bash_profile

#进入 OGG安装目录

cd /opt/ogg

#复制 hbase对应的配置文件。

cp AdapterExamples/big-data/hbase/*dirprm/

cd/ogg/dirprm

编辑配置文件

vi hbase.props

gg.handlerlist=hbase

gg.handler.hbase.type=hbase

gg.handler.hbase.hBaseColumnFamilyName=cf

gg.handler.hbase.keyValueDelimiter=CDATA[=]

gg.handler.hbase.keyValuePairDelimiter=CDATA[,]

gg.handler.hbase.encoding=UTF-8

gg.handler.hbase.pkUpdateHandling=abend

gg.handler.hbase.nullValueRepresentation=CDATA[NULL]

gg.handler.hbase.authType=none

gg.handler.hbase.includeTokens=false

gg.handler.hbase.mode=tx

goldengate.userexit.timestamp=utc

goldengate.userexit.writers=javawriter

javawriter.stats.display=TRUE

javawriter.stats.full=TRUE

gg.log=log4j

gg.log.level=INFO

gg.report.time=30sec

#Sample gg.classpath for Apache HBase

#gg.classpath=/var/lib/hbase/lib/*:/var/lib/hbase/conf/:

#Sample gg.classpath for CDH

#gg.classpath=/opt/cloudera/parcels/CDH/lib/hbase/lib/*:/etc/hbase/conf

#Sample gg.classpath for HDP

#gg.classpath=/usr/hdp/current/hbase-client/lib/*:/etc/hbase/conf

gg.classpath=/opt/hbase-1.2.6/lib/*:/opt/hbase-1.2.6/conf/:

javawriter.bootoptions=-Xmx512m-Xms32m -Djava.class.path=ggjava/ggjava.jar

5、启动ogg

./ggsci

GGSCI(hbase)2>editparamsmgr

Port 7809

DynamicPortList 20100-20199

PurgeOldExtracts ./dirdat/*,UseCheckPoints, MinKeepHours 2

Autostart Replicat R*

AUTORESTART Replicat *, WaitMinutes 1,Retries 3

ACCESSRULE, PROG *, IPADDR192.168.107.*, ALLOW

#配置复制进程

GGSCI(hbase)5>editparam rinta

replicat rinta

TARGETDB LIBFILE libggjava.so SETproperty=dirprm/hbase.props

REPORTCOUNT EVERY 1 MINUTES, RATE

GROUPTRANSOPS 10000

MAP OGG.*, TARGET root.*;


添加进程

add extract pinta,exttrailsource ./dirdat/in

6、配置完成,启动源端和目标端的进程。


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hbase API高级特性-FilterList 下一篇hbase完全分布式安装

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目