设为首页 加入收藏

TOP

Kafka整体结构以及模块分析
2019-02-12 02:30:22 】 浏览:19
Tags:Kafka 整体 结构 以及 模块 分析
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u013970991/article/details/52036292

一、Kafka源代码的工程结构

如下图所示:

二、各模板简要说明

admin:管理员模块,操作和管理topic,paritions相关,包含create,delete topic,扩展patitions

Api:该模块主要负责交互数据的组装,客户端与服务端交互数据编解码

client:该模块比较简单就一个类,Producer读取kafka broker元数据信息topic和partitions,以及leader

cluster:该模块包含几个实体类,Broker,Cluster,Partition,Replica,解释他们之间关系:	
	  Cluster由多个broker组成,一个Broker包含多个partition,一个topic的所有
	  partitions分布在不同broker的中,一个Replica包含多个Partition。

common:通用模块,只包含异常类和错误验证

consumer:consumer处理模块,负责所有客户端消费者数据和逻辑处理

contoroller:负责中央控制器选举,partition的leader选举,副本分配,副本重新分配,partition和replica扩容。

javaapi:提供java的producer和consumer接口api

log:Kafka文件存储模块,负责读写所有kafka的topic消息数据。

message:封装多个消息组成一个“消息集”或压缩消息集。

metrics:内部状态的监控模块

network:网络事件处理模块,负责处理和接收客户端连接

producer:producer实现模块,包括同步和异步发送消息。

serializer:序列化或反序列化当前消息

kafka:kafka门面入口类,副本管理,topic配置管理,leader选举实现(由contoroller模块调用)。

tools:一看这就是工具模块,包含内容比较多:
			a.导出对应consumer的offset值.
			b.导出LogSegments信息,当前topic的log写的位置信息.
			c.导出zk上所有consumer的offset值.
			d.修改注册在zk的consumer的offset值.
			f.producer和consumer的使用例子.

utils:Json工具类,Zkutils工具类,Utils创建线程工具类,KafkaScheduler公共调度器类,公共日志类等等。

  • 90898bbc-66e7-3c7f-8c2f-ee08bef4212c-thumb.png
  • 大小: 34.1 KB

编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇kafka service.xml配置 下一篇KAFKA--几个基本概念

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }