设为首页 加入收藏

TOP

kafka 0.8 0.9 offset 问题
2019-05-02 02:32:02 】 浏览:68
Tags:kafka 0.8 0.9 offset 问题
为啥flume1.7那边抽取kafka里面的数据,kafkamanage 里面看不到groupID
消费者及groupID、以及offset 管理,都是由客户端API操作的?
我们那边虽然升级了kafka从0.8到0.9,但是客户端还是老的API,将OFFSET维护在ZK中

FLUME将OFFSET维护在 _consumer_offsets 这个topic中,而老的kafkamanage 不读取这个信息的,只读取ZK的


新API 客户端将offset写入_consumer_offsets,兼容老的API 还是写offset在ZK中。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇0.1 Flink--Kafka2Es之读取kakfa.. 下一篇Kafka消息生产消费的一个java小案..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目