设为首页 加入收藏

TOP

kafka consumer zookeeper 交互逻辑
2019-01-21 02:27:31 】 浏览:46
Tags:kafka consumer zookeeper 交互 逻辑
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010711294/article/details/82666564

consumer操作

这里写图片描述
1. kafka各组件通信采用TCP协议。broker端口号:9092,zookeeper端口号:2181。
2. consumer启动时(绿色虚线),与brokers建立一个TCP长连接,生成SimpleConsumer实例,并返回broker配置文件中的域名。
3. consumer根据域名访问brokers获取topic、partition、offset(蓝色虚线)。
4. brokers访问zookeeper的leader组件,根据topic和获取各个partition的offset(黑色虚线)。
5. consumer从brokers上读取数据(红色实线)。

producer操作

这里写图片描述
1. producer启动时(绿色虚线),与brokers建立一个TCP长连接,生成SimpleConsumer实例,并返回broker配置文件中的域名。
3. producer将数据存入broker上(蓝色虚线)。
4. 同时brokers访问zookeeper的leader组件,更新zk上的offset,或者leader定时从brokers刷新offset(黑色虚线)。

注:有关数据仓库等问题,有兴趣的同学可以联系我。TEL/微信:18310801089,公众号:
这里写图片描述

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Kafka的消费者API 下一篇kafka查询最新producer offset的..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目