设为首页 加入收藏

TOP

认识KafKa-深入解析Leader和Follower数据同步机制（HW，LEO概念）
2019-05-02 02:31:08 【大 中 小】 浏览:102次
Tags：认识 KafKa- 深入 解析 Leader Follower 数据 同步 机制 LEO 概念
版权声明：路漫漫其修远兮，吾将上下而求索。 https://blog.csdn.net/Happy_Sunshine_Boy/article/details/86293162

HW vs LEO

  • LEO（LogEndOffset）：表示每个partition的log最后一条Message的位置。
  • HW（HighWatermark）：表示partition各个replicas数据间同步且一致的offset位置，即表示allreplicas已经commit位置，每个Broker缓存中维护此信息，并不断更新。是指consumer能够看到的此partition位置。
  • 取一个partitionISR中最小的LEO作为HW，consumer最多只能消费到HW所在位置。
  • Consumer只能看到commit的数据，也就是HW的数据
    在这里插入图片描述

Follower如何从Leader fetch消息

在这里插入图片描述
【大 中 小】【打印】 【繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部】
上一篇：kafka在windows上安装运行 下一篇：kafka正常启动后无法创建topic

最新文章

多线程： 线程的同步   线程间..
vertica-->kafka-->mongodb数..
kafka   Partition分发策略
解决android studio报Error:Gradle ..
Kafka史上最详细原理总结   --..

热门文章

replication factor: 1 larger than..
kafka连接生产者报错Connection to ..
系统间通信方式之（Kafka的实际使用..
使用pykafka，kafka-python的api开..
Kafka遇到的坑-- Error while fetch..

Hot 文章

replication factor: 1 larger than..
kafka连接生产者报错Connection to ..
系统间通信方式之（Kafka的实际使用..
使用pykafka，kafka-python的api开..
Kafka遇到的坑-- Error while fetch..

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目