１.　准备工作

apache上下载 apache-flume-1.7.0, apache-kafka_2.12-0.11, apache-zookeeper-3.4.9

下载后分别解压至/home/hadoop/bigdata并重命名目录为flume, kafka, zk, (便于在.bashrc中export各个ＨＯＭＥ变量及后续升级)

２.　配置并启动zookeeper

zk配置主要有两个方面

2.1 conf/zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes. // 下面这两个目录要提前手工建好
dataDir=/home/hadoop/bigdata/zk/zkdata
dataLogDir=/home/hadoop/bigdata/zk/zkdatalog

server.1=master:2888:3888
server.2=ndh-slave01:2888:3888
server.3=slave02:2888:3888

# the port at which the clients will connect
clientPort=2181

2.2 zkdata/myid

这里面主要保存与conf/zoo.cfg中server.N对应的数字Ｎ，如master主机上是server.1, myid中即写1，其它两台机器同理。

2.3 启动并验证zk

把zookeeper目录及刚修改的配置文件一并拷贝到另两台slave机器上，并分别执行下面两个命令，以确保正常启动。

./zkServer.sh start

./zkServer.sh status

如遇到./zkServer.sh status报错问题，通常都是配置和操作的问题，请参考先前文章：http://blog.csdn.net/wqhlmark64/article/details/73250662。

3. flume配置和启动

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

简要来说，其设计目标和优势如下：

./bin/kafka-topics.sh --describe --zookeeper master:2181 --topic test0  // 查看topic test0的状态信息

Topic:test0	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: test0	Partition: 0	Leader: 0	    Replicas: 0,2,1	Isr: 0,2,1