搭建spark集群,目标 1(master)+2(slaves)
工具准备:
1. scala 安装,参考 http://blog.csdn.net/bahaidong/article/details/44220633
(1) 将 scala 安装包,复制到 /usr目录下,并解压。
(2) 更改环境变量 (/etc/profile)。
export SCALA_HOME=/usr/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin
(3)环境变量生效(source /etc/profile )
- spark 相关数据目录建立。
$ mkdir /data
$ mkdir /data/spark
$ mkdir /data/spark/local
$ mkdir /data/spark/log
$ mkdir /data/spark/work
$ chmod -R 777 /data/
- spark安装
(1) 将 spark安装包spark-1.6.1-bin-hadoop2.6,复制到 /usr目录下,并解压。
(2) 更改环境变量 (/etc/profile)。
export SPARK_HOME=/usr/spark-1.6.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
(3)配置 spark-env.sh
路径 /usr/spark-1.6.1-bin-hadoop2.6/conf
$ cp spark-env.sh.template spark-env.sh //将spark-env.sh.template复制一份为spark-env.sh
配置可参考
export SCALA_HOME=/usr/scala-2.10.4
export JAVA_HOME=/usr/jdk1.7.0_79
export HADOOP_HOME=/usr/hadoop-2.6.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=Master
export SPARK_LOCAL_IP=Slave2
export SPARK_WORKER_DIR=/data/spark/work
export SPARK_LOG_DIR=/data/spark/log
(4)配置 slaves
路径: /usr/spark-1.6.1-bin-hadoop2.6/conf
配置参考为(尤其注意,不能加入Master):
Slave1
Slave1
```
(5)其它配置
可参考 http://blog.csdn.net/jianghuxiaojin/article/details/51036126
尤其注意,修改 SPARK_LOCAL_IP
配置完成后,将以上信息全部进行相应的复制。包含:scala、spark、profile
参考命令:
scp -r /usr/spark-1.6.1-bin-hadoop2.6/ root@Slave1:/usr/spark-1.6.1-bin-hadoop2.6/
在相应的主机创建对应的spark软链接,并将spark-env.sh中SPARK_LOCAL_IP改为对应的ip即可。
3. 启动spark
(1) 在hadoop 的bin文件中启动集群
$ ./start-all.sh
(2) 启动spark集群
$ ./sbin/start-all.sh //启动master和slaves
$ ./sbin/start-history-server.sh //启动history server
(3) 查看成功与否
jps命令查看是否成功启动。
监控页面URL http:// 120.27.153.137:8080/
运行 spark-pi。
./spark-submit –master spark://Master:7077 –class org.apache.spark.examples.SparkPi –name Spark-Pi /usr/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar
“`
参考:
http://blog.csdn.net/shuaidan19920412/article/details/72587855
http://blog.csdn.net/jianghuxiaojin/article/details/51036126
http://www.cnblogs.com/onetwo/p/5424377.html
http://www.cnblogs.com/lijingchn/p/5573898.html