版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Tc_To_Top/article/details/52217701
Source
|
Source类型 |
说明 |
|
AvroSource |
支持Avro协议（实际上是AvroRPC），内置支持 |
|
ThriftSource |
支持Thrift协议，内置支持 |
|
ExecSource |
基于Unix的command在标准输出上生产数据 |
|
JMSSource |
从JMS系统（消息、主题）中读取数据，ActiveMQ已经测试过 |
|
SpoolingDirectorySource |
监控指定目录内数据变更 |
|
Twitter1%firehoseSource |
通过API持续下载Twitter数据，试验性质 |
|
NetcatSource |
监控某个端口，将流经端口的每一个文本行数据作为Event输入 |
|
SequenceGeneratorSource |
序列生成器数据源，生产序列数据 |
|
SyslogSources
syslogtcp
multiport_syslogtcp
syslogudp
|
读取syslog数据，产生Event，支持UDP和TCP两种协议 |
|
HTTPSource |
基于HTTPPOST或GET方式的数据源，支持JSON、BLOB表示形式 |
|
LegacySources |
兼容老的FlumeOG中Source（0.9.x版本） |
|
AvroLegacySource |
|
|
ThriftLegacySource |
|
|
ScribeSource |
|
|
CustomSource |
自定义Source |
Sink
|
Sink类型 |
说明 |
|
HDFSSink |
数据写入HDFS |
|
LoggerSink |
数据写入日志文件 |
|
AvroSink |
数据被转换成AvroEvent，然后发送到配置的RPC端口上 |
|
ThriftSink |
数据被转换成ThriftEvent，然后发送到配置的RPC端口上 |
|
IRCSink |
数据在IRC上进行回放 |
|
FileRollSink |
存储数据到本地文件系统 |
|
NullSink |
丢弃到所有数据 |
|
HBaseSink |
数据写入HBase数据库 |
|
MorphlineSolrSink |
数据发送到Solr搜索服务器（集群） |
|
ElasticSearchSink |
数据发送到ElasticSearch搜索服务器（集群） |
|
KiteDatasetSink |
写数据到KiteDataset，试验性质的 |
|
CustomSink |
自定义Sink实现 |
Channel
|
Channel类型 |
说明 |
|
MemoryChannel |
Event数据存储在内存中 |
|
JDBCChannel |
Event数据存储在持久化存储中，当前FlumeChannel内置支持Derby |
|
FileChannel |
Event数据存储在磁盘文件中 |
|
SpillableMemoryChannel |
Event数据存储在内存中和磁盘上，当内存队列满了，会持久化到磁盘文件（当前试验性的，不建议生产环境使用） |
|
PseudoTransactionChannel |
测试用途 |
|
CustomChannel |
自定义Channel实现 |
EventDeserializers
在source组件上指定，反序列化，将输入（文件、流）解析成event的方式，
|
Deserializer类型 |
说明 |
|
LINE |
默认值，将文本输入的每行转换成一个event |
|
AVRO |
读取avro文件，将其中的每条avro记录转换成一个event，每个event都附带着模式信息 |
|
BlobDeserializer |
将整个二进制大数据转换成一个evnt，通常一个BLOB就是一个文件，比如PDF、JPG |
EventSerializers
在sink组将上指定，序列化，将event对象转换成文件的方式。
|
Serializer类型 |
说明 |
|
TEXT（BodyTextSerializer） |
默认值，将event中body里的数据不做改变的转换成输出流，event的header将被忽略 |
|
AVRO_EVENT（AvroEventSerializer） |
将event转换成avro文件 |
|
BlobDeserializer |
将整个二进制大数据转换成一个evnt，通常一个BLOB就是一个文件，比如PDF、JPG |
Interceptor
拦截器可以修改或删除event。
拦截器可以组成拦截器链，中间用空格分隔，拦截器的配置顺序即是它们的执行顺序。
|
Handler类型 |
说明 |
|
TimestampInterceptor |
向eventheader中添加了timestamp变量，值是时间戳 |
|
HostInterceptor |
向eventheader中添加了host变量，可以通%{host}引用（比如在HDFSsink中的路径占位符） |
|
StaticInterceptor |
配置一个静态的值到eventheader里，多个静态值需要配多个staticinterceptor |
|
UUIDInterceptor |
向eventheader里添加变量id，值是随机生成的uuid，可以用这个唯一标识一个event |
|
MorphlineInterceptor |
使用morphline配置文件过滤event。 |
|
RegexFilteringInterceptor |
使用正则表达式过滤（include或exclude）event。 |
|
RegexExtractorInterceptor |
使用正则表达式来向header中添加key、value。 |