设为首页 加入收藏

TOP

Flume Sink Group
2018-12-02 18:37:08 】 浏览:111
Tags:Flume Sink Group

Sink

为了消除数据处理管道中的单点故障,Flume可以使用负载平衡或故障转移策略,将event发送到不同的sink。sink组是用来创建逻辑上的一组sink。这个组的行为是由sink处理器来决定的,它决定了event的路由策略。

agent.sinkgroups=sg1

名叫”agent”的agent定义了一个sink的组叫sg1.

agent.sinkgroups.sg1.sinks=k1,k2

sg1组由k1、k2的sink组成。

设置processor.type为load_balance时,round_robin策略将被使用,还可以指定自己的负载均衡机制。processor.backoff指定一个指数级的阻塞时间用于当重试一个sink抛出异常时。设置为true,对于每个失败后的等待时间将增加一倍。

故障转移Sink

一个sink出现故障的时候尝试另一个,设置processor.type为failover。设置其他的属性指定sink顺序。

agent.sinkgroups.sg1.sinks=k1,k2,k3

agent.sinkgroups.sg1.processor.type=failover

agent.sinkgroups.sg1..processor.priority.k1=10

agent.sinkgroups.sg1..processor.priority.k2=20

agent.sinkgroups.sg1..processor.priority.k3=30

k1 sink将会第一个使用,如果抛出了异常,k2,k3接下来会被尝试。如果sink中所有sink都失败了,channel中的事务将会回滚。

processor.maxPenality:为sink组中失败的sink被关进小黑屋的时限设置了上限值。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume自定义file sink,实现按时间.. 下一篇flume保存文件到hdfs的时候报错

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目