Hive总结
一、本质
Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查
询、统计和分析。
二、四大特点**
Hive本身不存储数据，它完全依赖HDFS和MapReduce，具有可扩展的存储能力和计算能力
Hive的内容是读多写少，不支持对数据的改写和删除
Hive中没有定义专门的数据格式，由用户指定
Hive是一个SQL解析引擎，将SQL语句转译成MR Job
下例：Hive写的wordcount
三、HQL与SQL对比
四、Hive体系架构
可以将Hive体系分为三层，从上至下依次为用户接口、语句转换、数据存储
五、Hive建表
1.确认建内部表还是外部表：
– create table
删除表的时候，Hive将会把属于表的元数据和数据全部删掉
–create external table
在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，删除时仅仅删除表的元数据
2.Partition和Bucket
– Table可以拆分成partition，就像手机中的相册按照日期划分为一个个的小照片集，作用是缩小查询范围，加快检索速度
–Partition进一步可以通过”CLUSTERED BY“划分为多个Bucket，Bucket中的数据可以通过‘SORT BY’排序，作用是能提高查询操作效率（如mapside join），常用于采样sampling：
select * from student tablesample(bucket 1 out of 2 on id);
六、Hive的优化***
1.Map的优化
增加map的个数：
set mapred.map.tasks=10;
减少map的个数（合并小文件）：
set mapred.max.split.size=100000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
Map端聚合（combiner）：
hive.map.aggr=true;
2.Reduce的优化
设置reduce的个数：
set mapred.reduce.tasks=10;
reduce任务处理的数据量
set hive.exec.reducers.bytes.per.reducer=100000;
避免使用可能启动mapreduce的查询语句
1)group by
2)order by(改用distribute by和sort by)
3.Join的优化
Join on的条件：
SELECT a.val, b.val, c.val
FROM a
JOIN b ON (a.key = b.key1)
JOIN c ON (a.key = c.key1)
Join的顺序：
/*+ STREAMTABLE(a) */ ：a被视为大表
/*+ MAPJOIN(b) */：b被视为小表SELECT /*+ STREAMTABLE(a) */ a.val, b.val, c.val
FROM a
JOIN b ON (a.key = b.key1)
JOIN c ON (c.key = b.key1);
4.数据倾斜的优化
万能方法：
hive.groupby.skewindata=true
大小表关联：
Small_table join big_table
数据中有大量0或NULL：
on case when (x.uid = '-' or x.uid = '0‘ or x.uid is null)
then concat('dp_hive_search',rand()) else x.uid
end = f.user_id;
大大表关联：
Select/*+MAPJOIN(t12)*/ *
from dw_log t11
join (
select/*+MAPJOIN(t)*/ t1.*
from (
select user_id from dw_loggroup byuser_id
) t
join dw_user t1
on t.user_id=t1.user_id
) t12
on t11.user_id=t12.user_id
count distinct时存在大量特殊值：
select cast(count(distinct user_id)+1 as bigint) as user_cnt
from tab_a
where user_id is not null and user_id <> ''
空间换时间：
select day,
count(case when type='session' then 1 else null end) as session_cnt,
count(case when type='user' then 1 else null end) as user_cnt
from (
select day,session_id,type
from (
select day,session_id,'session' as type
from log
union all
select day user_id,'user' as type
from log
)
group by day,session_id,type
) t1
group by day
5.其他的优化
分区裁剪（partition）：
Where中的分区条件，会提前生效，不必特意做子查询，直接Join和GroupBy
笛卡尔积：
Join的时候不加on条件或者无效的on条件，Hive只能使用1个reducer来完成笛卡尔积
Union all：
先做union all再做join或group by等操作可以有效减少MR过程，多个Select，也只需一个MR
Multi-insert & multi-group by：
从一份基础表中按照不同的维度，一次组合出不同的数据
FROM from_statement
INSERT OVERWRITE TABLE table1 [PARTITION (partcol1=val1)] select_statement1 group by key1
INSERT OVERWRITE TABLE table2 [PARTITION(partcol2=val2 )] select_statement2 group by key2
Automatic merge：
当文件大小比阈值小时，hive会启动一个mr进行合并
hive.merge.mapfiles = true是否和并Map输出文件，默认为True
hive.merge.mapredfiles = false是否合并Reduce输出文件，默认为False
hive.merge.size.per.task = 256*1000*1000合并文件的大小
Multi-Count Distinct：
一份表中count多个参数（必须设置参数：set hive.groupby.skewindata=true;）
select dt, count(distinct uniq_id), count(distinct ip)
from ods_log where dt=20170301 group by dt
并行实行：
hive执行开启：set hive.exec.parallel=true
七、Hive案例
1.导入本地Local的数据，并进行简单统计
load data (local) inpath "" overwrite into table a1;
2.两表Join
select a.*, b.* from w_a a join w_b b on a.usrid=b.usrid;
3.UDF
UDF函数可以直接应用于select语句，对查询结构做格式化处理后，再输出内容。
编写UDF函数的时候需要注意一下几点：
–自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。
–需要实现eva luate函数
– eva luate函数支持重载
导出的jar包需要add后，才可以使用
4.利用Insert命令导入数据
insert into table test1 partition(c) select * from test2;
5.通过查询直接插入数据
create table test2 as select * from test1;
6.导出文件
insert overwrite (local) directory '/home/badou/hive_test/1.txt'
select usrid,sex from w_a;
7.Partition的使用
#1.建表
create TABLE p_t
( usrid string
age string
)
partition by (dt string)
row format delimited fields terminated by '\t'
lines terminated by '\n';
#2.插入数据
load data (local) inpath "" overwrite into table p_t partition(dt='20170302');
#3.查询数据
select * from p_t where dt='20170302';
以上.
如果觉得本文对你有帮助，可以帮忙点个赞表示支持吗，谢谢！
如果有任何意见和建议，也欢迎再下方留言~
关注这个公众号，每天推送给你三道大数据面试题~
点击这里查看往期精彩内容：
每日三问
大数据干货系列（一）--MapReduce总结
大数据干货系列（二）--HDFS1.0
大数据干货系列（三）-- Hadoop2.0总结
