设为首页 加入收藏

TOP

SparkSQL初步应用(HiveContext使用)(二)
2015-07-24 11:04:28 来源: 作者: 【 】 浏览:3
Tags:SparkSQL 初步 应用 HiveContext 使用

大功告成!整个过程,spark的debug功能一直是打开的,但是在日志中没有发现有价值的信息。

?

对了,要想使用IDE调试Spark的HiveContext程序,需要在main目录下添加resource目录(类型为Resources),并且将hive-site.xml、hdfs-site.xml添加到该目录中。

并且将三个驱动包引入:

datanucleus-api-jdo-3.2.6.jar,datanucleus-core-3.2.10.jar,datanucleus-rdbms-3.2.9.jar

?

差点忘了,我是为了解决上节中的result3问题,哈哈,这个问题其实是由于SparkSQL对SQL语法支持的问题。可以考虑使用其他方式(不在IN里面嵌套子查询),比如设置多个RDD或者左右连接等(有待测试)。

首页 上一页 1 2 下一页 尾页 2/2/2
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇SqlHelper重构 下一篇sql server相关

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

·Redis 分布式锁全解 (2025-12-25 17:19:51)
·SpringBoot 整合 Red (2025-12-25 17:19:48)
·MongoDB 索引 - 菜鸟 (2025-12-25 17:19:45)
·What Is Linux (2025-12-25 16:57:17)
·Linux小白必备:超全 (2025-12-25 16:57:14)