设为首页 加入收藏

TOP

Flume 中Sink批量参数设置调优
2018-11-28 17:45:37 】 浏览:39
Tags:Flume Sink 批量 参数 设置
版权声明:本文为博主John Lau原创文章,未经博主允许不得转载 https://blog.csdn.net/GreatElite/article/details/20870295

在Flume 配置中,Sink的参数batchSize影响到整个流程的性能。比如说HDFS sink,它的参数称hdfs.batchSize,这样称呼是由于历史的原因,建议使用hdfs.txnEvenMax。 在sink端调优批量值设置,它依赖于相应的隧道(channel)的事务容量。sink端的批量大小应该小于或者等于channel端的事务容量,而事务容量应该设置为实际需要的最大值(channel端)。下列列举了一下优化的sink批量参数值设置。

槽类型(Sink Type 配置参数(Config parameter) 类型值(Typical value)
Avro batch-size 100
HDFS hdfs.batchSize, hdfs.txnEventMax 1000
HBaseSink batchSize 100
AsyncHBaseSink batchSize 100


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Flume快速入门(三):File Chann.. 下一篇flume学习(二):如何找到cm安装..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目