SparkSQL使用之如何使用UDF

2014-11-23 21:26:33 · 作者: · 浏览: 17

Hive中使用UDF


SparkSQL中使用UDF


方式一:在启动spark-sql时通过--jars指定


方式二:先启动spark-sql后add jar


在测试过程中发现并不支持该种方式,会报java.lang.ClassNotFoundException: com.luogankun.udf.HelloUDF


如何解决?


1)需要先将udf.jar的路径配置到spark-env.sh的SPARK_CLASSPATH中,形如:


2)再启动spark-sql,直接CREATE TEMPORARY FUNCTION即可;


方式三:Thrift JDBC Server中使用UDF


在beeline命令行中执行: