安装spark，基于hadoop的 - Hadoop

TOP

安装spark，基于hadoop的

2018-12-02 08:42:53 【大中小】浏览:62次

安装Scala

安装spark之前先安装scala，scala下载地址下载最新的版本就行，我的是scala-2.11.8.tgz
在home中创建scala文件夹 mkdir scala（根据自己的需求创建）我的文件路径 # /home/scala
把压缩包上传到创建的scala文件夹中，解压tar -xvf scala-2.11.8.tgz
编译 vim ~/.bashrc 增加SCALA_HOME环境变量配置
export JAVA_HOME=/usr/local/java/jdk1.8.0_92
export SCALA_HOME=/home/scala/scala-2.11.8
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export SPARK_HOME=/home/spark/spark-1.6.1
export CLASSPATH=.:$SLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
（或者也需要编译/etc/profile文件，添加相应的路径，我也有点忘了，因为我当初调试的时候两个文件都添加了，如果上面添加了启动起来了，这就不用添加了）。
执行
```
source ~/.bashrc
```
生效
验证scala 执行
```
scala -version
```
出现以下信息表示成功
Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP/EPFL
copy到slave机器中， scp -r /home/scala 192.168.1.167:/home/
修改相应slave中的 ~/.bashrc，执行4、5、6步骤相同

安装spark

下载sparkspark下载地址选择框中蓝色版本。
编译~/.bashrc 在上面有蓝色部分
也是在home中创建spark文件夹 mkdir spark
cd /home/spark
上传到spark文件夹中spark压缩包解压 tarzxvfspark-1.6.1-bin-without-hadoop.tgz
修改文件夹名称 mvspark-1.6.1-bin-without-hadoopspark-1.6.1
修改spark配置文件 cd spark-1.6.1/conf
编译spark-env.shcp spark-env.sh.template spark-env.sh
将下面代码复制到文件最下面

###jdk安装目录
export JAVA_HOME=/usr/local/java/jdk1.8.0_92

###scala安装目录
export SCALA_HOME=/home/scala/scala-2.11.8

###spark集群的master节点的ip
export SPARK_MASTER_IP=192.168.1.168

###指定的worker节点能够最大分配给Excutors的内存大小
export SPARK_WORKER_MEMORY=2g

###hadoop集群的配置文件目录
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.2/etc/hadoop

export SPARK_DIST_CLASSPATH=$(/home/hadoop/hadoop-2.7.2/bin/hadoop classpath)

保存退出。
修改conf下的slaves cp slaves.template slaves
```
vim slaves
```
删除localhost
添加mater和slave主机
192.168.1.168
192.168.1.167
保存退出
到sbin文件夹cd /home/spark/spark-1.6.1/sbin
启动spark
```
# start-all.sh
```
如果你没做全局启动一定到sbin下输入启动命令，我就是因为在别的文件下输入命令，就是没有启动起来，耗费了老长时间各种调试，都快哭了~~~
输入jps 有master和worker则表示spark启动起来了
输入192.168.1.168:8080在浏览器页面执行效果
到此安装完毕

也可以bin中执行一些验证spark小实验

./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"


【大中小】【打印】【繁体】【投稿】【收藏】【推荐】【举报】【评论】【关闭】【返回顶部】

上一篇：Hadoop（二）---Hadoop集群的安全..	下一篇：企业应用hadoop视频教程多套合集-..