设为首页 加入收藏

TOP

flume   三大核心组件
2018-12-06 17:57:18 】 浏览:7
Tags:flume   三大 核心 组件
http://archive.cloudera.com/cdh5/cdh/5/ flume 下载地址
http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/FlumeUserGuide.html 官方相关文档
http://flume.apache.org/FlumeUserGuide.html
http://flume.apache.org/releases/index.html flume 相关版本文档
=== FLUME 概述 ==
Apache Flume is a distributed(分布式), reliable(高可靠), and available(高可用的服务) system for efficiently collecting(收集),
aggregating(聚合) and moving(移动) large amounts of log data from many different sources to a centralized data store.
It has a simple and flexible(灵活) architecture based on streaming data flows(流式数据).
It is robust(健壮性) and fault tolerant(容错性) with tunable reliability mechanisms and many failover and recovery mechanisms(故障恢复过来的机制).
It uses a simple extensible data model that allows for online analytic application(在线实时分析应用).


webserver(源端日志) ==>> flume(收集) ==>> HDFS(目的地)
flume 是由cloudera 提供的一个分布式、高可靠
高可用的服务,用于分布式的海量日志的高效收集 聚合、移动系统
flume的设计目标
可靠性
拓展性
管理性(agent)
业界同类产品的对比
Flume: cloudera /apache 基金会 java开发的
scribe : Facebook C/c++ 负载均和容错性不是太好,已经停止维护了
chukwa : Yahoo/apache java开发的 .负载均 已经停止维护了
kafka :
fluentd : Ruby
logstash :ELK
FLUME发展史
cloudera 0.9.2 --flume-og
flume-728 flume-ng -->> apache
2012.7 1.0
2015.5 1.6
~ 1.7

====Flume 三大核心组件及架构==


flume 总体架构图



flume 三大组件架构图


source:收集
source 支持很多source类型,以下是经常用的类型
Avro Source 序列化
Exec Source
Spooling Directory Source (对文件夹进行监控的)
Kafka Source
NetCat TCP Source
NetCat UDP




channel: 负责日志暂时存储和聚合,不可能长时间停留在此

Memory Channel

事件存储在内存中
优点: 速度快
缺点: 同步挂了,内存中的事件就丢失了

JDBC Channel 一般不怎么用 ,有些场景 可能会用到
Kafka Channel

File Channel

事件存储在文件中

失败了可以恢复

Spillable Memory Channel
Pseudo Transaction Channel
Custom Channel


sink: 输出、转移存储channel中的数据
读取channel中的数据,然后推送到目的地(HDFS/Kafka)



Hive Sink
Logger Sink (控制台)

Avro Sink/Thrift sink

序列化,发送到指定的rpc端口
可以配置多层flume

IRC Sink
File Roll Sink
Null Sink
HBaseSinks
HBaseSink
AsyncHBaseSink
MorphlineSolrSink
ElasticSearchSink(ES)
Kite Dataset Sink
Kafka Sink
HTTP Sink






三大组件是如何保证事务的呢?












编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇nginx ---->flume ----->ka.. 下一篇flume读取日志数据写入kafka &nbs..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }