TOP

flume(kafka-mongodb) 留坑
2019-03-13 14:08:55 】 浏览:140次 本网站的内容取自网络,仅供学习参考之用,绝无侵犯任何人知识产权之意。如有侵犯请您及时与本人取得联系,万分感谢。
Tags:flume kafka-mongodb 留坑

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/snake1900/article/details/70544167

flume(kafka-mongodb) 踩过的坑

  • Kafka 不消费
  • Mongodb 不写入

kafka不消费

排查发现,kafka 中堆积了大量的日志消息,不进行消费。
原因:sink 写入不是json格式的消息时 ,mongodb 拒绝处理
直到堆满通道处理能力
解决办法:增加拦截器 regex_filter ,

agent.sources.source1.interceptors=i1 
agent.sources.source1.interceptors.i1.type=regex_filter  
agent.sources.source1.interceptors.i1.regex=\\{.*\\}  

拦截器是 regex_filter 不要写成提取器 regex_extractor (小坑,已踩)

Mongodb 不写入

model 配置使用 agent.sinks.s1.model = single

agent.sinks.s1.type = org.riderzen.flume.sink.MongoSink
agent.sinks.s1.host = localhost
agent.sinks.s1.port = 27017
agent.sinks.s1.model = single
agent.sinks.s1.db = test
agent.sinks.s1.collection = log
agent.sinks.s1.batch = 100
agent.sinks.s1.channel = c1

请关注公众号获取更多资料


flume(kafka-mongodb) 留坑 https://www.cppentry.com/bencandy.php?fid=119&id=212949

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume   三大核心组件 下一篇nginx ---->flume ----->ka..

评论

验 证 码:
表  情:
内  容: