hivecountdistinct

2015-11-21 01:44:42 · 作者: · 浏览: 2

select count(distinct user_id) from dm_user where ds=20150701;

使用disticnt函数,所有的数据只会shuffle到一个reducer上,导致reducer数据倾斜严重

优化后为

set mapred.reduce.tasks=50;

select count(*) from

(select user_id from dm_user where ds=20150701 group by user_id)t;

order by全局排序,只有一个reduce

sort by 在一个reduce中排序,distribute by 按字段分为不同的reduce

distribute by 先分为不同的reduce排序,之后在reduce内部排序