TOP

flume学习(1)
2019-02-25 13:49:04 】 浏览:1721
Tags:flume 学习

目录:

  1. flume简介
    1. 产生背景
    2. flume是什么
    3. Flume的data flow(数据流)
  2. flume架构
    1. flume基础架构
    2. 多节点架构
    3. 多节点合并架构
    4. 节点分流架构
  3. flume特点
    1. 扩展性
    2. 延展性
    3. 可靠性
  4. fluem安装与简单使用
  5. flume核心组件介绍
  6. flume可靠性
  7. flume拦截器
  8. flume选择器
  9. flume故障转移与负载均衡

一.flume简介

1.产生背景

如果数据在关系型数据库(RDBMS)里面,可通过Sqoop进行抽取。(Spark SQL可代替)

如果日志在其他机器上,就有了Flume的产生;Flume就是干日志采集的事情。

2.flume是什么:http://flume.apache.org/

各组件说明:

  1. 细分 Flume 数据流应该是由5个组件组成:Events、Sources、Channels、Sink、Agent。
  2. Agent : Source + Channel + Sink
  3. Source : 负责日志流入,比如从文件、网络、Kafka等数据源流入数据,数据流入的方式有两种:轮训拉取和事件驱动。
  4. Channel :负责数据聚合或暂存,比如暂存到内存、本地文件、数据库、Kafka 等,日志数据不会在管道停留很长时间,很快会被 Sink 消费掉。
  5. Sink :也叫接收器,负责数据转移存储,比如从Channel拿到日志后直接存储到HDFS、Hbase、ElasticSearch、Kafka 等。
  6. Events :是使用Flume移动的数据的基本单位。它类似于JMS中的消息,通常很小。它由头和字节数组体组成。

说明:如果A中的数据来此其它机器或者公司,我们不能编写代码获得特定的数据,所以需要通过一个信息采集中间件来迁移或者归类数据,然后将数据送到目的地:内存或者硬盘,如图

3.Flume的data flow(数据流)

二.flume架构

1.flume基础架构


说明:Agent : Source + Channel + Sink

2.多节点架构

hop说明:

3.多节点合并架构

4.节点分流架构

总结:上述4种架构说明

三.flume特点

四.fluem安装与简单使用

步骤:

  1. 下载和解压,配置环境变量
  2. 配置:进入http://flume.apache.org/,用户手册(不是开发手册)


  3. 启动flume
  4. 测试

    例如:

命令说明:


flume学习(1) https://www.cppentry.com/bencandy.php?fid=119&id=210561

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇ICC副本>>>>(logback.. 下一篇使用hive来分析flume收集的json日..