spark有三种部署方式:standalone,spark on mesos 和 spark on yarn. standalone用于开发; spark on mesos官方推荐, mesos调度更强大; 如何同时使用hadoop, 那么spark on yarn兼容更好。本文是在介绍第三种方式，需要先[url=http://zhenggm.iteye.com/blog/2358071]安装hadoop-2.7.3[/url]（略）。
一、准备工作（scala & spark）
1.1 centOS6服务器3台
master 192.168.3.140 (master.hadoop.zjportdns.gov.cn)
node1 192.168.3.141 (node1.hadoop.zjportdns.gov.cn)
node2 192.168.3.142 (node2.hadoop.zjportdns.gov.cn)
1.2 下载安装包
[url=http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz]scala-2.11.8.tgz[/url]
[url=http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz]spark-2.1.0-bin-hadoop2.7.tgz[/url]
上传到三台服务器/usr/local/目录下
二、安装(三台机器执行相同操作)
2.1解压scala

cd /usr/local
tar -xvf scala-2.11.8.tgz

2.2设置环境变量

echo -e "export SCALA_HOME=/usr/local/scala-2.11.8" >> /etc/profile
echo -e "export PATH=$PATH:$SCALA_HOME/bin" >> /etc/profile

2.3解压spark

tar -xvf spark-2.1.0-bin-hadoop2.7.tgz

2.4设置环境变量

echo -e "export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7" >> /etc/profile
echo -e "export PATH=$PATH:$SPARK_HOME/bin" >> /etc/profile

2.5修改命令

cd spark-2.1.0-bin-hadoop2.7/conf
cp slaves.template slaves
echo -e "node1.hadoop.zjportdns.gov.cn\nnode2.hadoop.zjportdns.gov.cn" > slaves
cp spark-env.sh.template spark-env.sh
echo -e "export SCALA_HOME=/usr/local/scala-2.11.8" >> spark-env.sh
echo -e "export JAVA_HOME=/usr/local/jdk1.7.0_79" >> spark-env.sh
source /etc/profile

三、运行
3.1启动

$SPARK_HOME/sbin/start-all.sh

3.2验证
http://master.hadoop.zjportdns.gov.cn:8080/
[img]http://dl2.iteye.com/upload/attachment/0123/2324/ea5f9ce3-10d4-3728-b7c5-909751d66514.png[/img]
3.3停止

$SPARK_HOME/sbin/stop-all.sh