版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/snake1900/article/details/70544167
flume(kafka-mongodb) 踩过的坑
kafka不消费
排查发现，kafka 中堆积了大量的日志消息，不进行消费。
原因：sink 写入不是json格式的消息时 ，mongodb 拒绝处理
直到堆满通道处理能力
解决办法：增加拦截器 regex_filter ,
agent.sources.source1.interceptors=i1
agent.sources.source1.interceptors.i1.type=regex_filter
agent.sources.source1.interceptors.i1.regex=\\{.*\\}
拦截器是 regex_filter 不要写成提取器 regex_extractor （小坑，已踩）
Mongodb 不写入
model 配置使用 agent.sinks.s1.model = single
agent.sinks.s1.type = org.riderzen.flume.sink.MongoSink
agent.sinks.s1.host = localhost
agent.sinks.s1.port = 27017
agent.sinks.s1.model = single
agent.sinks.s1.db = test
agent.sinks.s1.collection = log
agent.sinks.s1.batch = 100
agent.sinks.s1.channel = c1