设为首页 加入收藏

TOP

kafka查看消费了多少条数据
2019-05-02 02:30:22 】 浏览:40
Tags:kafka 查看 消费 多少 数据
storm jar接收程序,如果指定了forceFromStart=false,则从最新的数据开始读,最新是指多长时间的,有具体的参数设置
如果指定了为true,则从最老的数据开始消费。


如何查看目前的消费者是否已经读到最新的数据:


kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
#kafka查看topic各个分区的消息的信息
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group ** --topic *** --zookeeper *:2181,*:2181,*:2181/kafka
--zookeeper 那里是指kafka在zk中的path,即使zk有多个机器,如果在其中一台上执行此命令,显示连接不上,只写那台机器的地址端口+kafka的path即可
指定自己的分组 自己消费的topic会显示kafka总共有多少数据,以及已经被消费了多少条
结果:
GROUP TOPIC PID OFFSET LOGSIZE LAG
消费者组 话题id 分区id 当前已消费的条数 总条数 未消费的条数



注意:以kafkaspout类作为消费者去读kafka数据,相当于直接从kafka server上取文件,没有消费者组的概念
每次读的数据存在自己zk的offet中
所以不能通过上述命令查看







】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Kafka分布式环境搭建 下一篇Spring中手动开启kafka监听.md

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目