设为首页 加入收藏

TOP

kafka的maxPollIntervalMs设置太小引发的惨案
2019-04-24 02:35:46 】 浏览:394
Tags:kafka maxPollIntervalMs 设置 太小 引发 惨案
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/pml18710973036/article/details/87207071

本地启动kafka后,不断报一下信息:

表示本地consumer节点在不断的重新加入group,并且不断伴随着offset commit失败。

具体原因是因为ConsumerCoordinator没有向GroupCoordinator在规定的时间内同步心跳导致GroupCoordinator以为本地consumer节点挂掉了,引发了partition在consumerGroup里的rebalance。当rebalance后,之前该consumer拥有的分区和offset信息就失效了,同时导致不断的报auto offset commit failed。

为什么ConsumerCoordinator会同步心跳失败呢,那是因为我把consumer的maxPollIntervalMs设置得太小,1s,而kafka默认是300s。

这个参数的作用主要是如下:

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇logstash+elasticsearch+kafka统.. 下一篇如何确定Kafka的分区数,key和con..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目