设为首页 加入收藏

TOP

Kafka与Flume的异同点
2019-04-09 14:13:59 】 浏览:50
Tags:Kafka Flume 异同

Kafka和flume作为数据采集通道的区别:
将数据从某一个数据源导入HDFS或者HBase,Kafka是一个半成品,需要自己完成消费者程序的编写,而flume只需要改配置就可以导数据进入HDFS或者HBase,相当于Flume自身包含了消费者程序,不需要程序员去开发。另外,Flume自带的interceptors也可以用来处理数据,而Kafka如果要处理数据还需要接入外部流处理系统,比如storm,spark等。

所以实际生产中,通常是外部数据源采数据到Kafka,Kafka再通过Flume导数据到HDFS。为什么不直接将外部数据源接入Flume,这是因为Kafka可以实现多生产者和多消费者,可以接入外部各种各样的数据源,同时Kafka可以同时接入Flume之外的其他数据导入系统,这样以后扩展更灵活。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume   三大核心组件 下一篇Nginx=>Flume=>Kafka 流程..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目