TOP

Python中执行Hql脚本
2019-03-19 12:56:00 】 浏览:933
Tags:Python 执行 Hql 脚本

该python脚本是用于执行hive脚本的,需要设置hive的可执行环境变量,其实质转化为shell下命令 hive -e ‘sql语句’ 的方式执行,然后把结果重定向到控制台显示。注:由于该脚本是直接调用shell中的hive命令,所以需要在安装hive的服务器上执行。

使用前置条件:(1)安装hadoop和hive,并启动完hadoop;(2)已配置好hive的环境变量,确保在shell中能正常执行hive。

#!/usr/bin/python
#-*-coding:utf-8 -*-

import subprocess
import traceback

sql = """
# 书写hql脚本
;
"""
cmd = 'hive -e """'+sql.replace('"', "\'")+'"""'
print cmd
try:
    p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE)
    while True:
        buff = p.stdout.readline()
        print buff
        if buff == '' and p.poll() != None:
            break

except Exception,re:
    print "message is:%s" %(str(re))
    traceback.print_exc();

脚本举例

#!/usr/bin/python
#-*-coding:utf-8 -*-
import subprocess
import traceback
sql = """
  select * from app_tianhe_zym_item_reason_dtl_da where order_dt = '2016-01-26' limit 10;
"""
cmd = 'hive -e """'+sql.replace('"', "\'")+'"""'
print cmd
try:
    p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE)
    while True:
        buff = p.stdout.readline()
        print buff
        if buff == '' and p.poll() != None:
            break
except Exception,re:
    print "message is:%s" %(str(re))
    traceback.print_exc();

这里写图片描述


Python中执行Hql脚本 https://www.cppentry.com/bencandy.php?fid=117&id=213920

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hadoop hive hbase 入门学习 (三) 下一篇[Spark SQL01]Spark SQL入门