设为首页 加入收藏

TOP

Flume学习笔记:Flume集群的Avro RPC实现
2019-05-03 14:06:33 】 浏览:57
Tags:Flume 学习 笔记 集群 Avro RPC 实现

以两个Agent为例,搭建Flume集群

Agent1负责对目录/flumeagent的监听,然后将数据通过Avro RPC发送给Agent2的Source

Agent1的配置

配置信息说明
第一部分定义的是agent集群的名称a1,source,channel,sink的名称
第二部分定义的是source的参数,使用的是spooldir类型,用以监视目录,指定channel的名称
第三部分定义的是sink的参数,agent之间使用的是Avro RPC,指定要传输到的主机名和端口centos:4141
第四部分定义的是channel的参数,通过内存来缓存Event,transactionCapacity参数表示的是每次最大从source中拿到或者送到sink中的Event数量为100,capacity参数指定channel中最大存储的Event数量。

Agent2的配置

source.r1.bind参数指定的是监听的主机名或ip地址,port是端口号,因为这里两个agent都在本机,所以指定的是0.0.0.0

测试

移动一个文件到指定的文件夹中


agent1的console,可以看到已经采集到,并打上标记

而与此同时,agent2接收到agent1传过来的event

说明搭建是成功的

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇大数据收集层常用技术-Sqoop、Flu.. 下一篇flume   三大核心组件

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目