TOP

大数据学习——Flume介绍与安装(二)
2017-09-19 13:12:35 】 浏览:10232
Tags:数据 学习 Flume 介绍 安装

.1.2/logs/hadoop-shiyanlou-namenode-b393a04554e1.log a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = hdfs://hadoop:9000/class12/out_flume a1.sinks.k1.hdfs.filePrefix = events- a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 10 a1.sinks.k1.hdfs.roundUnit = minute a1.sinks.k1.hdfs.rollSize = 4000000 a1.sinks.k1.hdfs.rollCount = 0 a1.sinks.k1.hdfs.writeFormat = Text a1.sinks.k1.hdfs.fileType = DataStream a1.sinks.k1.hdfs.batchSize = 10 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 cd /app/flume-1.5.2 ./bin/flume-ng agent --conf ./conf/ --conf-file ./conf/flume-conf2.properties --name a1 -Dflume.root.logger=INFO,console

这时会不断收集hadoop-hadoop-namenode-hadoop1.log的数据写入HDFS中。

查看hdfs中/class12/out_flume中的文件

hadoop fs -ls /class12/out_flume

hadoop fs -cat /class12/out_flume/events-.1433921305493

 


大数据学习——Flume介绍与安装(二) https://www.cppentry.com/bencandy.php?fid=57&id=118833

首页 上一页 1 2 下一页 尾页 2/2/2
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇BI大数据的星形模型和雪花模型 下一篇Mysql千万级大数据SQL查询优化