设为首页 加入收藏

TOP

Hive把数据直接上传到分区目录上,让分区表和数据产生关联的三种方式
2019-01-21 01:04:57 】 浏览:208
Tags:Hive 数据 接上 传到 分区 目录 分区表 产生 关联 方式
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq9808/article/details/85247846

1)方式一:上传数据后修复

首先上传数据到HDFS中:

hive (default)> dfs -mkdir -p
 /user/hive/warehouse/dept_partition2/month=201709/day=12;
hive (default)> dfs -put /opt/module/datas/dept.txt  /user/hive/warehouse/dept_partition2/month=201709/day=12;

查询刚才上传的数据:

hive (default)> select * from dept_partition2 where month='201709' and day='12';

发现是查不到数据的,然后执行执行修复命令:

hive> msck repair table dept_partition2;

再次查询数据:

hive (default)> select * from dept_partition2 where month='201709' and day='12';

(2)方式二:上传数据后添加分区

首先上传数据到HDFS中:

hive (default)> dfs -mkdir -p
 /user/hive/warehouse/dept_partition2/month=201709/day=11;
hive (default)> dfs -put /opt/module/datas/dept.txt  /user/hive/warehouse/dept_partition2/month=201709/day=11;

接着执行添加分区命令:

hive (default)> alter table dept_partition2 add partition(month='201709',
 day='11');

然后查询数据:

hive (default)> select * from dept_partition2 where month='201709' and day='11';

(3)方式三:创建文件夹后load数据到分区

首先创建目录:

hive (default)> dfs -mkdir -p
 /user/hive/warehouse/dept_partition2/month=201709/day=10;

然后上传数据:

hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table
 dept_partition2 partition(month='201709',day='10');

最后查询数据:

hive (default)> select * from dept_partition2 where month='201709' and day='10';

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hive Schema version 2.1.0 does .. 下一篇[转载]Hive日期函数

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目