大功告成!整个过程,spark的debug功能一直是打开的,但是在日志中没有发现有价值的信息。
?
对了,要想使用IDE调试Spark的HiveContext程序,需要在main目录下添加resource目录(类型为Resources),并且将hive-site.xml、hdfs-site.xml添加到该目录中。
并且将三个驱动包引入:
datanucleus-api-jdo-3.2.6.jar,datanucleus-core-3.2.10.jar,datanucleus-rdbms-3.2.9.jar
?
差点忘了,我是为了解决上节中的result3问题,哈哈,这个问题其实是由于SparkSQL对SQL语法支持的问题。可以考虑使用其他方式(不在IN里面嵌套子查询),比如设置多个RDD或者左右连接等(有待测试)。