设为首页 加入收藏

TOP

flume配置文件和实际场景理解
2019-03-14 14:06:56 】 浏览:65
Tags:flume 配置 文件 实际 场景 理解

一、场景一描述:

线上api接口服务通过log4j往本地磁盘上打印日志,在接口服务器上安装flume,通过exec source收集日志,然后通过avro sink发送到汇总服务器上的flume;汇总服务器上的flume通过avro source接收日志,然后通过file_roll sink写到本地磁盘。

二、场景二描述:

线上api接口服务通过log4j往本地磁盘上打印日志,在接口服务器上安装flume,通过exec source收集日志,然后通过avro sink将日志发送到汇总服务器上的flume;在汇总服务器上的flume,通过avro source接收到日志,然后通过hdfs sink备份到hdfs上。

上述是俩种比较常见的flume 应用场景,下面是对自定义数据源和数据输出的理解:

source - netcat 这是一种类似于生成socket服务器的方式, 常见实在数据源处配置此选项,用于测试比较方便

source - exec 这是监控文件的方式,如果文件内容发生变化就会触发收集

source - avro 这是相当于跨域转接数据的方式,常见与分布式实现多数据源汇总的方式,比如接受多个flume sink

对于输出sink就比较多了

sink -loger 直接打印到控制台,当然这种用于测试的比较多

sink -sparkStreaming 传送到sparkStreaming

sink - kafka 传送到kafka

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume负载均衡版配置 下一篇【Flume】之 监听文件(案例二)

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目