设为首页 加入收藏

TOP

Eclipse IDE搭建Spark+java开发环境
2019-02-12 01:24:31 】 浏览:11
Tags:Eclipse IDE 搭建 Spark java 开发 环境

通过网上搜集资料,成功搭建了eclipse ide+spark+java的开发环境,过了一段时间,发现差不多忘记了,借再次搭建的机会,记录下来,供后续复习用,如果你不小心看到,也不要照搬照抄,否则,会掉到坑里(切身感受)!

一、首先将用到的软件及版本列一下:

1. Java开发肯定少不了jdk,这里用到的版本是jdk-8u77-windows-x64.exe,给个地址http://download.csdn.net/download/tan3739/9476498,也可以去官网找;

2. Eclipse IDE用的是eclipse luna 64位, 也即eclipse4.4,去官网下载就可以了, http://www.eclipse.org/downloads/packages/release/luna/sr2;


3. spark用的是spark-2.2.0-bin-hadoop2.6,去官网下载即可,http://spark.apache.org/downloads.html;


4. Windows环境下运行spark,还需要下载hadoop2.6对应的hadoop.dll 和winutils.exe,也可以通过源代码自己编译(这个没有尝试,以后有时间试试),这里给个地址吧 http://download.csdn.net/download/u010106732/9707913

二、准备好上述软件后,接下来就是软件的安装配置,一步步来

1. 安装JDK,双击后,一路next就好了,做一下环境变量配置。具体就是右键点击“计算机”图标,选择“属性”--》“高级系统设置”--》“环境变量”,然后新建系统变量JAVA_HOME,如下图所示,


然后,编辑Path,将%JAVA_HOME%\bin添加到path中;

另外,一般还要建立CLASSPATH,并添加%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\lib\dt.jar,然后保存。

打开命令行,输入java -version,如果能够正常显示java的版本信息,说明安装配置成功。


二、如果你下载的是eclipse-java-luna-SR2-win32-x86_64.zip,直接加压到指定目录就可以了,比如d:\,解压完成后,你在d盘根目录下就能看到eclipse文件夹,到eclipse目录下,双击eclipse.exe,就可以启动eclipse,第一次启动会提示你设置workspace目录(即,你以后编写代码存放的地方),然后,可以在“windows”--》“preferences”中,展开java树进行设置。


三、安装并配置hadoop和spark,都不需要安装,直接解压缩,然后将解压后的文件夹放到合适的目录下,进行环境变量的配置就可以了,如下图所示:




测试一下spark,在spark的bin目录下输入run-example SparkPi,如果看到pi的值就说明成功了,当然可能后续会有一些错误,先不要管了。


参考:http://blog.csdn.net/farawayzheng_necas/article/details/54574279


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇基于eclipse的spark开发环境搭建 下一篇在Spark中使用Pivot重塑数据

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }