设为首页 加入收藏

TOP

flume(kafka-mongodb) 留坑
2019-03-13 14:08:55 】 浏览:38
Tags:flume kafka-mongodb 留坑
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/snake1900/article/details/70544167

flume(kafka-mongodb) 踩过的坑

  • Kafka 不消费
  • Mongodb 不写入

kafka不消费

排查发现,kafka 中堆积了大量的日志消息,不进行消费。
原因:sink 写入不是json格式的消息时 ,mongodb 拒绝处理
直到堆满通道处理能力
解决办法:增加拦截器 regex_filter ,

agent.sources.source1.interceptors=i1 
agent.sources.source1.interceptors.i1.type=regex_filter  
agent.sources.source1.interceptors.i1.regex=\\{.*\\}  

拦截器是 regex_filter 不要写成提取器 regex_extractor (小坑,已踩)

Mongodb 不写入

model 配置使用 agent.sinks.s1.model = single

agent.sinks.s1.type = org.riderzen.flume.sink.MongoSink
agent.sinks.s1.host = localhost
agent.sinks.s1.port = 27017
agent.sinks.s1.model = single
agent.sinks.s1.db = test
agent.sinks.s1.collection = log
agent.sinks.s1.batch = 100
agent.sinks.s1.channel = c1

editor/markdown_views-7b4cdcb592.css" rel="stylesheet">

编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume   三大核心组件 下一篇nginx ---->flume ----->ka..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }