设为首页 加入收藏

TOP

hive count(*)问题处理
2019-02-12 01:01:25 】 浏览:41
Tags:hive count 问题 处理
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/javastart/article/details/52740098

现象:在Hive 中执行select语句,在生产环境正常,而测试环境select count(*) ,并且测试环境中直接非聚合select 语句也正常

处理:在控制错误非常简单,直接返回2错误代码。到yarn 资源管理器中查看,好像资源不足的原因 。开始想到hive 参数,对生产环境和测试环境的hive 配置文件进行对比,没有发现异常。接着考虑的yarn 资源分配的问题,查看yarn 资源配置文件,对比2个环境的yarn配置文件。发现yarn.scheduler.maximum-allocation-mb 这个参数4096,而生产环境是8192,调整后重启yarn 系统,问题得以解决。后来继续分析,因为测试环境的yarn.scheduler.maximum-allocation-mb 大于mapreduce 文件中mapreduce.reduce.memory.mb参数(5120)。这个才是问题根本原因。


参考资料:Yarn 内存分配管理机制及相关参数配置

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hive on te,mr,spark性能测试 下一篇hive 随机抽样

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目