版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/chengqiuming/article/details/79144919
一 下载Kafka Offset Monitor软件
KafkaOffsetMonitor-assembly-0.2.0.jar
二 安装部署
1 准备一个目录kafka_monitor
在该目录下放下面两个文件
监控软件:KafkaOffsetMonitor-assembly-0.2.0.jar
启动脚本:kafak_monitor_start.sh
2 准备启动脚本kafak_monitor_start.sh
[root@master kafka_monitor]# cat kafak_monitor_start.sh
#! /bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk master:2181,slave1:2181,slave2:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 7.days
3 脚本含义解释
首先指明运行Web监控的类,然后需要用到ZooKeeper,所有要填写ZK集群信息,接着是Web运行端口,页面数据刷新的时间以及保留数据的时间值。
三 启动
1 启动zk
2 在master、slave1和slave2节点启动kafka
kafka-server-start.sh /opt/kafka_2.10-0.8.2.1/config/server.properties &
3 master节点创建一个topic,slave1启动生成者,slave2启动消费者
master节点:
[root@master ~]# kafka-topics.sh --create --replication-factor 3 --partition 3 --topic user-behavior-topic1 --zookeeper 192.168.0.110:2181
slave1节点:
[root@slave1 ~]# kafka-console-producer.sh --broker-list 192.168.0.110:9092 --topic user-behavior-topic1
slave2节点:
[root@slave2 ~]# kafka-console-consumer.sh --zookeeper 192.168.0.110:2181 --topic user-behavior-topic1 --from-beginning
3 master节点启动Kafka Offset Monitor
[root@master kafka_monitor]# ./kafak_monitor_start.sh
四 测试
1 截图1
2 截图2
3 截图3
4 截图4
五 测试相关说明
Topic:创建Topic名称
Partition:分区编号
Offset:表示该Parition已经消费了多少Message
LogSize:表示该Partition生产了多少Message
Lag:表示有多少条Message未被消费
Owner:表示消费者
Created:表示该Partition创建时间
Last Seen:表示消费状态刷新最新时间
六 参考