设为首页 加入收藏

TOP

Flume OOM 问题
2018-12-05 18:17:10 】 浏览:12
Tags:Flume OOM 问题

Spark,Hadoop交流群,群QQ号:521066396,欢迎加入共同学习,一起进步~

1、问题

使用Flume遇到如下报错:

java.lang.OutOfMemoryError: GC overhead limit exceeded

或者:

java.lang.OutOfMemoryError: Java heap space
Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError: Java heap space

2、解决方法

# Enviroment variables can be set here.
export JAVA_HOME=/usr/java/jdk1.8.0_51

# Give Flume more memory and pre-allocate, enable remote monitoring via JMX
export JAVA_OPTS="-Xms8192m -Xmx8192m -Xss256k -Xmn2g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

注意:在启动 agent 的时候一定要带上 -c conf 选项,否则 flume-env.sh 里配置的环境变量不会被加载生效。

例如:

./flume-ng agent --name tier1 --conf ../etc/flume-ng/conf.dist/ --conf-file ../etc/flume-ng/conf.dist/kafkatohdfs.conf -f ../etc/flume-ng/conf.dist/flume-conf.properties

编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇ICC副本>>>>(logback.. 下一篇Windows64环境下   使用Flum..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }