设为首页 加入收藏

TOP

kafka集群监控工具之 Kafka Offset Monitor
2019-01-18 02:32:43 】 浏览:91
Tags:kafka 集群 监控 工具 Kafka Offset Monitor
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/chengqiuming/article/details/79144919
一 下载Kafka Offset Monitor软件
KafkaOffsetMonitor-assembly-0.2.0.jar

二 安装部署
1 准备一个目录kafka_monitor
在该目录下放下面两个文件
监控软件:KafkaOffsetMonitor-assembly-0.2.0.jar
启动脚本:kafak_monitor_start.sh

2 准备启动脚本kafak_monitor_start.sh
[root@master kafka_monitor]# cat kafak_monitor_start.sh
#! /bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk master:2181,slave1:2181,slave2:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 7.days
3 脚本含义解释
首先指明运行Web监控的类,然后需要用到ZooKeeper,所有要填写ZK集群信息,接着是Web运行端口,页面数据刷新的时间以及保留数据的时间值。

三 启动
1 启动zk
zkServer.sh start
2 在master、slave1和slave2节点启动kafka
kafka-server-start.sh /opt/kafka_2.10-0.8.2.1/config/server.properties &
3 master节点创建一个topic,slave1启动生成者,slave2启动消费者
master节点:
[root@master ~]# kafka-topics.sh --create --replication-factor 3 --partition 3 --topic user-behavior-topic1 --zookeeper 192.168.0.110:2181
slave1节点:
[root@slave1 ~]# kafka-console-producer.sh --broker-list 192.168.0.110:9092 --topic user-behavior-topic1
slave2节点:
[root@slave2 ~]# kafka-console-consumer.sh --zookeeper 192.168.0.110:2181 --topic user-behavior-topic1 --from-beginning
3 master节点启动Kafka Offset Monitor
[root@master kafka_monitor]# ./kafak_monitor_start.sh

四 测试
1 截图1
2 截图2
3 截图3
4 截图4

五 测试相关说明
Topic:创建Topic名称
Partition:分区编号
Offset:表示该Parition已经消费了多少Message
LogSize:表示该Partition生产了多少Message
Lag:表示有多少条Message未被消费
Owner:表示消费者
Created:表示该Partition创建时间
Last Seen:表示消费状态刷新最新时间

六 参考
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Kafka's Metadata In ZooKeep.. 下一篇docker   kafka 启动

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目