?

sudo vi /etc/profile

?

打开之后在末尾添加

?

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3

export PATH=$SPARK_HOME/bin:$PATH

?

使profile生效

?

source /etc/profile

?

配置Spark环境变量

?

cd $SPARK_HOME/conf

cp spark-env.sh.template spark-env.sh

?

vi spark-env.sh 添加以下内容：

?

export JAVA_HOME=/usr/local/java-1.7.0_79

export HADOOP_HOME=/usr/hadoop-2.3.0

export HADOOP_CONF_DIR=/etc/hadoop/conf

export SCALA_HOME=/usr/lib/scala-2.11.4

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3

export SPARK_MASTER_IP=127.0.0.1

export SPARK_MASTER_PORT=7077

export SPARK_MASTER_WEBUI_PORT=8099

?

export SPARK_WORKER_CORES=3 //每个Worker使用的CPU核数

export SPARK_WORKER_INSTANCES=1 //每个Slave中启动几个Worker实例

export SPARK_WORKER_MEMORY=10G //每个Worker使用多大的内存

export SPARK_WORKER_WEBUI_PORT=8081 //Worker的WebUI端口号

export SPARK_EXECUTOR_CORES=1 //每个Executor使用使用的核数

export SPARK_EXECUTOR_MEMORY=1G //每个Executor使用的内存

?

export SPARK_CLASSPATH=/usr/spark-1.3.1-hadoop2.3/lib/sequoiadb-driver-1.12.jar:/usr/spark-1.3.1-hadoop2.3/lib/spark-sequoiadb_2.11.2-1.12.jar ?//使用巨衫 数据库

export SPARK_CLASSPATH=$SPARK_CLASSPATH:$CLASSPATH

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/nativ

?

配置Slave

?

cp slaves.template slaves

vi slaves 添加以下内容：

localhost

?

5、启动Spark ?Master

?

cd $SPARK_HOME/sbin/

./start-master.sh

?

6、启动Spark ?Slave

?

cd $SPARK_HOME/sbin/

./start-slaves.sh