设为首页 加入收藏

TOP

Flume会不会丢失数据?
2019-05-07 14:07:45 】 浏览:139
Tags:Flume 不会 丢失 数据
版权声明:本文为博主原创文章,如需转载,请注明出处 。 https://blog.csdn.net/wx1528159409/article/details/88737287

在一些网络资料中有看到当Flume的数据量达到70MB/s以上时,就会出现丢失数据的情况。

但是根据Flume的架构原理,采用FileChannel的Flume是不可能丢失数据的,因为其内部有完善的事务机制(ACID)。

Source到Channel是事务性的,

Channel到Sink也是事务性的,

这两个环节都不可能丢失数据。

唯一可能丢失数据的是Channel采用MemoryChannel,

(1)在agent宕机时候导致数据在内存中丢失;

(2)Channel存储数据已满,导致Source不再写入数据,造成未写入的数据丢失;

并且在实际开发生产环境中,还没有出现过Flume丢失数据的情况,因此Flume在数据量大的时候丢失数据的情况还有待商榷。

ps:Flume不会丢失数据,但是可能会造成数据重复,例如数据已经由Sink发出,但是没有接收到响应,Sink会再次发送数据,导致数据重复

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Flume到Kafka且均分到多个partiti.. 下一篇Flume 自定义source   -- S..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目