设为首页 加入收藏

TOP

LogStash多实例并行消费kafka
2019-01-06 02:31:24 【大 中 小】 浏览:31次
Tags：LogStash 实例 并行 消费 kafka
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/jyb199158/article/details/82841731

启动多个logstash并行消费kafka数据。

1.设置相同topic

2.设置相同groupid

3.设置不同clientid

4.input 的这个参数 consumer_threads => 10 多实列相加最好等于 topic分区数

如果一个logstash得参数大于topic，则topic数据都会被这个logstash消费掉

logstash_1

logstash_2
【大 中 小】【打印】 【繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部】
上一篇：Kafka服务正常启动，但是消费者提.. 下一篇：Kafka执行Consumer的时候发生java..

最新文章

多线程： 线程的同步   线程间..
vertica-->kafka-->mongodb数..
kafka   Partition分发策略
解决android studio报Error:Gradle ..
Kafka史上最详细原理总结   --..

热门文章

replication factor: 1 larger than..
kafka连接生产者报错Connection to ..
系统间通信方式之（Kafka的实际使用..
使用pykafka，kafka-python的api开..
Kafka遇到的坑-- Error while fetch..

Hot 文章

replication factor: 1 larger than..
kafka连接生产者报错Connection to ..
系统间通信方式之（Kafka的实际使用..
使用pykafka，kafka-python的api开..
Kafka遇到的坑-- Error while fetch..

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目