设为首页 加入收藏

TOP

flume   三大核心组件
2019-02-12 14:01:02 】 浏览:34
Tags:flume   三大 核心 组件
http://archive.cloudera.com/cdh5/cdh/5/ flume 下载地址
http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/FlumeUserGuide.html 官方相关文档
http://flume.apache.org/FlumeUserGuide.html
http://flume.apache.org/releases/index.html flume 相关版本文档
=== FLUME 概述 ==
Apache Flume is a distributed(分布式), reliable(高可靠), and available(高可用的服务) system for efficiently collecting(收集),
aggregating(聚合) and moving(移动) large amounts of log data from many different sources to a centralized data store.
It has a simple and flexible(灵活) architecture based on streaming data flows(流式数据).
It is robust(健壮性) and fault tolerant(容错性) with tunable reliability mechanisms and many failover and recovery mechanisms(故障恢复过来的机制).
It uses a simple extensible data model that allows for online analytic application(在线实时分析应用).


webserver(源端日志) ==>> flume(收集) ==>> HDFS(目的地)
flume 是由cloudera 提供的一个分布式、高可靠
高可用的服务,用于分布式的海量日志的高效收集 聚合、移动系统
flume的设计目标
可靠性
拓展性
管理性(agent)
业界同类产品的对比
Flume: cloudera /apache 基金会 java开发的
scribe : Facebook C/c++ 负载均和容错性不是太好,已经停止维护了
chukwa : Yahoo/apache java开发的 .负载均 已经停止维护了
kafka :
fluentd : Ruby
logstash :ELK
FLUME发展史
cloudera 0.9.2 --flume-og
flume-728 flume-ng -->> apache
2012.7 1.0
2015.5 1.6
~ 1.7

====Flume 三大核心组件及架构==


flume 总体架构图



flume 三大组件架构图


source:收集
source 支持很多source类型,以下是经常用的类型
Avro Source 序列化
Exec Source
Spooling Directory Source (对文件夹进行监控的)
Kafka Source
NetCat TCP Source
NetCat UDP




channel: 负责日志暂时存储和聚合,不可能长时间停留在此

Memory Channel

事件存储在内存中
优点: 速度快
缺点: 同步挂了,内存中的事件就丢失了

JDBC Channel 一般不怎么用 ,有些场景 可能会用到
Kafka Channel

File Channel

事件存储在文件中

失败了可以恢复

Spillable Memory Channel
Pseudo Transaction Channel
Custom Channel


sink: 输出、转移存储channel中的数据
读取channel中的数据,然后推送到目的地(HDFS/Kafka)



Hive Sink
Logger Sink (控制台)

Avro Sink/Thrift sink

序列化,发送到指定的rpc端口
可以配置多层flume

IRC Sink
File Roll Sink
Null Sink
HBaseSinks
HBaseSink
AsyncHBaseSink
MorphlineSolrSink
ElasticSearchSink(ES)
Kite Dataset Sink
Kafka Sink
HTTP Sink






三大组件是如何保证事务的呢?












编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Windows64环境下   使用Flum.. 下一篇ICC副本>>>>(logback..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }