Spark 1.6.0 单机安装配置
一、 约束条件如下
Spark runs on Java7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. Youwill need to use a compatible Scala version (2.10.x).
Spark 1.6 + Scala 2.10
二、依赖安装
1、JDK 1.8+ （前置安装）
2、HADOOP 2.6.0+（前置安装）
3、SCALA 2.10.+
http://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgz
4、Spark -1.6.0 –bin-Hadoop
http://d3kbcqa49mib13.cloudfront.net/spark-1.6.3-bin-hadoop2.6.tgz
三、依赖安装
n 配置ssh localhost
确保已经安装openssh-server
yum –y install openssh-server
n 无密码登陆配置
ssh-keygen -t rsa
cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
如果已经生成过密钥，只需执行后两行命令。测试ssh localhost
四、安装scala
n 解压scala安装包到任意目录：
cd /opt/scala
tar -xzvfscala-2.10.6.tgz
n 编辑环境变量
vim /etc/profile
exportSCALA_HOME=/home/tom/scala-2.10.6
exportPATH=$SCALA_HOME/bin:$PATH
n 使环境变量生效
source/etc/profile
n 查看是否成功：
scala -version
五、安装SPARK
n 解压spark安装包到任意目录：
cd /opt/spark
tar -xzvfspark-1.6.0-bin-hadoop2.6.tgz
mvspark-1.6.0-bin-hadoop2.6 spark-1.6.0
vim /etc/profile
n 在 /etc/profile 文件的末尾添加环境变量：
exportSPARK_HOME=/opt/spark
exportPATH=$SPARK_HOME/bin:$PATH
n 保存并更新 /etc/profile ：
source/etc/profile
六、配置SPARK
n 在conf目录下复制并重命名 spark-env.sh.template 为 spark-env.sh ：
cpspark-env.sh.template spark-env.sh
vim spark-env.sh
n 在 spark-env.sh 中添加：
export JAVA_HOME=/opt/jdk1.8/
exportSPARK_MASTER_IP=localhost
exportSPARK_WORKER_MEMORY=1G
七、启动与测试SPARK
n 启动
$SPARK_HOME/sbin/start-all.sh
n 测试Spark是否安装成功：
$SPARK_HOME/bin/run-exampleSparkPi
n 得到结果：
Pi is roughly 3.14716
n 检查页面： 是否安装成功
http://localhost :8080
感谢科多大数据的同学们做的这个总结，分享给大家
Spark 1.6.0分布式安装配置
一、*配置解释：
JAVA_HOME 指定 Java 安装目录；
SCALA_HOME 指定 Scala 安装目录；
SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址；
SPARK_WORKER_MEMORY 指定的是 Worker 节点能够分配给Executors 的最大内存大小；
#HADOOP_CONF_DIR 指定 Hadoop 集群配置文件目录。
二、基于单机集群：
一、主节点配置：
1， 添加配置到 spark-env.sh文件
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
2， 将slaves.template 拷贝到 slaves，编辑其内容为：
hadoop1
hadoop2
hadoop3
(不同机器名的，记得更改)
二、从节点配置
拷贝主节点配置到其他节点，并且修改环境变量
三、启动集群
1) 启动 Master 节点
运行 start-master.sh
2) 启动 Slave 节点
运行 start-slaves.sh
四、验证集群
通过 8080端口能够看到 worker数量为 3