版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xiewendong93/article/details/50935925
Spark 1.X DatandaLone环境搭建(伪分布)
Spark运行环境有:Local,SandaLone,YARN,Mesos
安装步骤如下:
- JDK 版本建议1.7
- SCALA 版本 2.10.4
- Hadoop 版本2.x (HDFS)
- Spark StandaLone
##安装与spark编译版本一致的hadoop
1.安装JDK与Scala,解压,配置环境变量即可。
2.安装hadoop
tar -zxf hadoop-2.6.0-cdh.5.4.0.tar.gz -C /uer/local
#hadoop官方配置地址:
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
1.修改(关于环境JDK等的配置文件)hadoop-env.xml
2.修改(关于集群节点的配置文件)core-site.xml
3.修改(关于hdfs配置文件) hdfs-site.xml
x.设置节点(save.xml)指向 指向子节点
4.格式化:bin/hdfs namenode -format
5.启动集群:start-all.sh
3.安装standalone
1.修改(关于spark环境的文件) spark-env.xml
1(jdk).JAVA_HOME=/usr/java/jdk1.7
2(SCALA).SCALA_HOME=/usr/local/scala
3(HADOOP配置).
HADOOP_CONF_DIR=/usr/local/hadoop/env/hadoop
4(SPARK主机名).SPARK_MASTER_IP=localhost
5(SPARK端口).SPARK_MASTER_PORT=7077
6(SPARKUI端口).SPARK_MASTER_WEIUI_PORT=8080
7(SAPRK可以用CPU的1核心).SPARK_WORKER_CORES=1
8(work端口).SPARK_WORKER_PORT=7078
9(可用内存).SPARK_WORKER_MEMORY=1000m
10(一个实例).SPARK_WORKER_INSTANCES=1
2.修改:slave.xml.templete改名 slave.xml
1.内容指定 work工作节点
3.修改:spark-default.xml.templete改名spark-default.xml
1.spark.master spark://localhost:7077
4.启动
0.start-namenode.sh,start-datanode.sh
JSP:NameNode,DataNode,Jps
1.sbin/start-master.sh
JPS:NameNode,DataNode,Master,Jps
2.sbin/start-slaves.sh
JPS:NameNode,DataNode,Master,Work,Jps
通过页面:localhost:8080端口访问即可。
(8080在SPARK_MASTER_WEIUI_PORT中设置)
功成