设为首页 加入收藏

TOP

python向hive插入数据遇到的坑
2019-04-19 13:03:44 】 浏览:50
Tags:python hive 插入 数据 遇到

大数据体系

  • python向hive插入数据遇到的坑

python向hive插入数据遇到的坑

因项目需求,应用python建模需要通过hive取数,并将结果写入hive表。
尝试了以下几条坑爹路,仅做记录如下:

  1. 通过impyla库搭建hive与python桥梁
    1.1 环境配置的坑(回头放连接)
    注: 远程访问hive一定要记得配置账号密码!!!报错:。。。-4.。。
    1.2 一定不要用impyla中的executemany去批量插入数据,也不要用其他的方式向hive插入数据,都是坑!奇慢无比!找资料也都是说不建议这么做。

  2. 长途跋涉hdfs法
    2.1 先用python的pyhdfs库将结果写成hdfs文件,然后。。。尼玛!!根本没成功连上服务器的hdfs,本地hdfs到是可以的
    2.2 那既然写hdfs,我就直接将模型结果通过hadoop/hdfs命令上传至hdfs。然后, 通过hive命令load data将hdfs中的结果再导入hive。虽然有点绕,但是成功了!!!BUT!!!小兄弟,这个直接操作HDFS风险太高了,要不你还是另寻他法吧,不可以拒绝哦!!!
    2.3 好吧,根据建议,使用kafka,抱歉这个坑后面再来踩。
    2.4 临时处理方案:先将结果写入mysql,再转入hive,这个没有坑,具体我也只是写到mysql,无坑。。就是有点绕。。。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇苏先生之Hive底层调优 下一篇java通过JDBC对hive操作遇到的错误

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目