设为首页 加入收藏

TOP

基于kafka的oracle实时同步
2019-03-28 02:27:53 】 浏览:441
Tags:基于 kafka oracle 实时 同步

由于项目用到了基于oracle非入侵式日志实时同步cdc模式,但是ogg价格昂贵,有些项目不愿意花这部分钱来做数据实时同步,后面公司大牛推荐,自己研究了下基于kafka-connect的oracle实时同步。

上面清晰的写了部署步骤。

1、需要开启oracle归档日志

2、基于oraclelogminer的解析方式,对源库有一定影响,影响在5%以内。

我使用的是confluent。下面以confluent为中间件,写下部署步骤。confluent的使用请百度。

1、上传jar包到/xxx/xx/xx/confluent/share/java/kafka-connect-jdbc:kafka-connect-oracle-1.0.jar,ojdbc7.jar,jsqlparser-1.2.jar

2、cd /xxxx/xxxxx/confluent/etc/kafka-connect-jdbc 增加OracleSourceConnector.properties,内容如下:

name=oracle-logminer-connector

connector.class=com.ecer.kafka.connect.oracle.OracleSourceConnector

db.name.alias=oval

tasks.max=1

topic=test666-1

db.name=orcl

db.hostname=xxx.xxx.xxxx.131

db.port=1521

db.user=xxx

db.user.password=xxxxxx

db.fetch.size=1

table.whitelist=OVAL.*,OVAL.WQ_TEST #同步策略

parse.dml.data=true

reset.offset=false

start.scn=

3、修改confluent/etc/schema-registry下connect-avro-standalone.properties文件:

bootstrap.servers=xxx.xxx.xxx.xxx:xxxx #kafka地址

#我使用的json格式传输

key.converter=org.apache.kafka.connect.json.JsonConverter

#key.converter.schema.registry.url=http://localhost:8081

value.converter=org.apache.kafka.connect.json.JsonConverter

#value.converter.schema.registry.url=http://localhost:8081

4、./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties ./etc/kafka-connect-jdbc/OracleSourceConnector.properties

然后去体验下oracle实时同步数据到kafka上,至于消费看自己的业务逻辑了。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Kafka史上最详细原理总结 ----看.. 下一篇kafka监控(JMX_exporter+prometh..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目