设为首页 加入收藏

TOP

hive和es整合
2019-05-06 00:45:56 】 浏览:65
Tags:hive 整合

第一步,加入对应版本的jar包到hive的lib目录下
如何知道hive的lib目录是什么呢

 whereis hive 
  • 命令,可以找到hive的lib所在位置如图:
  • 在这里插入图片描述
  • 第二部 添加java和hive关联
  • hive命令进入hive CML(命令行)
  • 执行如下命令
add jar /usr/lib/hive/lib/ elasticsearch-hadoop-7.0.0.jar;

–注意7.00是你用的es的版本号 jar包的下载地址可以在mvnrepository
中查找
3.建表语句:

CREATE EXTERNAL table IF NOT EXISTS dmp.t_dmp_idfa_bundle_country_array_tbl_es(ifa STRING,bundles array<STRING>,countrys array<STRING>)STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'TBLPROPERTIES('es.resource' = 't_dmp_idfa_bundle_country_array_tbl_es/_doc','es.nodes' = 'locolhost','es.nodes.wan.only' = 'true');

4.在hive命令行中执行

insert into dmp.t_dmp_idfa_bundle_country_array_tbl_es
(ifa,bundles,countrys) select ifa,bundles,countrys from dmp.t_dmp_idfa_bundle_country_array_tbl
limit 10;

就可以了,
备注,插入几条还是没问题的,如果插入的多了会包错,正在查找原
至此,hive和es整合完成

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇MetaException(message:For direc.. 下一篇3 hql语法及自定义函数(含array..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目