设为首页 加入收藏

TOP

创建简单的Hive自定义函数
2019-02-12 01:02:59 】 浏览:19
Tags:创建 简单 Hive 定义 函数

这篇文章介绍下如何创建一个简单的自定义Hive函数并在如何Hive中使用它,其实Hive语法还挺不简单,这里我们只提供一个思路,一个常规的开发实例供大家参考。

1, Java程序编写自定义函数

import org.apache.commons.lang3.StringUtils;  
import org.apache.hadoop.hive.ql.exec.UDF;  
import java.util.HashMap;  
import java.util.Map;  
// 自定义类一定要继承hive提供的UDF类
public class MyTestUDF extends UDF {  
    private static final Map<String, String> areaMap = new HashMap<String, String>();  
    static {  
        areaMap.put("135", "福建");  
        areaMap.put("138", "北江");  
        areaMap.put("139", "上海");  
    }  
    /** 
     * 根据手机号获取归属地 注意是public公共方法,否则hive shell客户端调用失败
     */  
    public String eva luate(String phoneNum) {  
        if(StringUtils.isBlank(phoneNum) || phoneNum.length() < 3){  
            return "";  
        }  
        String area = areaMap.get(phoneNum.substring(0, 3));  
        return area == null "":area;  
    }  

2 , 打包上传至linux某个路径下

3, 在linux上 Hive shell客户端获取并执行jar包(关于使用Hive shell之前博客介绍)

hive> add jar '/usr/app/TestUDF.jar' ;

4, 创建Hive函数,在Hive shell客户端下输入 :

hive> create temporary function getarea as 'com.wangh.test.TestUDF(你程序中类路径)';

5 , 建表 ,shell客户端下输入 :

hive> create table t_flow(phoneNum string,upflow int , downflow int)

> row format delimited

> fields terminated by ','

> ;

6 , 创建一个文件 data.txt 并在shell中把它传到 t_flow表中。

1389990045,222,2000
1385566005,888,2000
1385566005,999,2000

hive> load data local inpath '/usr/app/flow.data' into table t_flow ;

7 , 使用函数

hive> selectphoneNum,getarea(),upflow from t_flow ;

完毕 !


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hive为什么适合做数据仓库 下一篇Hive2.0函数大全(中文版)

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }