设为首页 加入收藏

TOP

Spark 1.X DatandaLone伪分布环境搭建
2018-11-13 15:20:37 】 浏览:57
Tags:Spark 1.X DatandaLone 分布 环境 搭建
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xiewendong93/article/details/50935925

Spark 1.X DatandaLone环境搭建(伪分布)

Spark运行环境有:Local,SandaLone,YARN,Mesos
安装步骤如下:
- JDK 版本建议1.7
- SCALA 版本 2.10.4
- Hadoop 版本2.x (HDFS)
- Spark StandaLone

##安装与spark编译版本一致的hadoop
1.安装JDK与Scala,解压,配置环境变量即可。

2.安装hadoop 
tar -zxf hadoop-2.6.0-cdh.5.4.0.tar.gz -C /uer/local
#hadoop官方配置地址:
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
  1.修改(关于环境JDK等的配置文件)hadoop-env.xml
  2.修改(关于集群节点的配置文件)core-site.xml
  3.修改(关于hdfs配置文件) hdfs-site.xml
  x.设置节点(save.xml)指向 指向子节点
  4.格式化:bin/hdfs namenode -format
  5.启动集群:start-all.sh

3.安装standalone
  1.修改(关于spark环境的文件) spark-env.xml
      1(jdk).JAVA_HOME=/usr/java/jdk1.7
      2(SCALA).SCALA_HOME=/usr/local/scala
      3(HADOOP配置).
        HADOOP_CONF_DIR=/usr/local/hadoop/env/hadoop
      4(SPARK主机名).SPARK_MASTER_IP=localhost
      5(SPARK端口).SPARK_MASTER_PORT=7077
      6(SPARKUI端口).SPARK_MASTER_WEIUI_PORT=8080
      7(SAPRK可以用CPU的1核心).SPARK_WORKER_CORES=1
      8(work端口).SPARK_WORKER_PORT=7078
      9(可用内存).SPARK_WORKER_MEMORY=1000m
      10(一个实例).SPARK_WORKER_INSTANCES=1 
  2.修改:slave.xml.templete改名 slave.xml
      1.内容指定 work工作节点
  3.修改:spark-default.xml.templete改名spark-default.xml
      1.spark.master   spark://localhost:7077

4.启动
    0.start-namenode.sh,start-datanode.sh
    JSP:NameNode,DataNode,Jps

    1.sbin/start-master.sh
    JPS:NameNode,DataNode,Master,Jps

    2.sbin/start-slaves.sh
    JPS:NameNode,DataNode,Master,Work,Jps
通过页面:localhost:8080端口访问即可。
(8080在SPARK_MASTER_WEIUI_PORT中设置)

功成

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Linux下安装spark集群 下一篇Spark Streaming Direct Approach..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目