设为首页 加入收藏

TOP

flume配置文件和实际场景理解
2019-03-14 14:06:56 】 浏览:22
Tags:flume 配置 文件 实际 场景 理解

一、场景一描述:

线上api接口服务通过log4j往本地磁盘上打印日志,在接口服务器上安装flume,通过exec source收集日志,然后通过avro sink发送到汇总服务器上的flume;汇总服务器上的flume通过avro source接收日志,然后通过file_roll sink写到本地磁盘。

二、场景二描述:

线上api接口服务通过log4j往本地磁盘上打印日志,在接口服务器上安装flume,通过exec source收集日志,然后通过avro sink将日志发送到汇总服务器上的flume;在汇总服务器上的flume,通过avro source接收到日志,然后通过hdfs sink备份到hdfs上。

上述是俩种比较常见的flume 应用场景,下面是对自定义数据源和数据输出的理解:

source - netcat 这是一种类似于生成socket服务器的方式, 常见实在数据源处配置此选项,用于测试比较方便

source - exec 这是监控文件的方式,如果文件内容发生变化就会触发收集

source - avro 这是相当于跨域转接数据的方式,常见与分布式实现多数据源汇总的方式,比如接受多个flume sink

对于输出sink就比较多了

sink -loger 直接打印到控制台,当然这种用于测试的比较多

sink -sparkStreaming 传送到sparkStreaming

sink - kafka 传送到kafka




编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume负载均衡版配置 下一篇【Flume】之 监听文件(案例二)

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }