设为首页 加入收藏

TOP

flume文件监控的source,支持断点续传功能
2019-02-13 14:08:47 】 浏览:231
Tags:flume 文件 监控 source 支持 断点 功能

基于flume-ng中原有exec的source类型,通过tail依赖于操作系统去监听文件内容变化,其次,不支持断点续传的功能:

https://github.com/cwtree/flume-filemonitor-source

该组件特点如下:

1、一个source对应一个文件监控

2、实时监控文件变化

3、增量传输文件内容

4、支持断点续传功能,即使flume进程挂掉,下一次重启仍然可以继续接着上次断开的地方传输

5、能自动判断是否log文件滚动了(前提,必须做好flume进程的监控,监控到进程不在了,要立即进行重启)

使用只需如下配置即可:

a1.sources.r1.type=org.apache.flume.chiwei.filemonitor.FileMonitorSource
a1.sources.r1.channels=c1
a1.sources.r1.file=/home/flume/example/file/bizlogic.log
a1.sources.r1.positionDir=/home/flume

上面的代码不能实现批量的读取数据,传输的数据也不是按照行传输的。

推荐一个更为完善的代码实现

https://github.com/shunfei/flume-plugin

代码基本是在元flumeNG代码基础上进行修改,但是功能更完善。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇ICC副本>>>>(logback.. 下一篇flume-ng 测试过程中event丢失部..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目