设为首页 加入收藏

TOP

Linux下安装spark集群
2018-11-13 15:20:39 】 浏览:61
Tags:Linux 安装 spark 集群

1、安装scala
2、安装Spark
3、配置Spark
修改配置文件spark-env.sh,在解压spark下的conf文件中

将模板文件复制出来
cp spark-env.sh.template spark-env.sh
cp slave.template slave

4、配置spark和slave

配置spark-env.sh(scala_home和java_home都是其安装路径)
export SCALA_HOME=/usr/soft/scala-2.13.0
export JAVA_HOME=/usr/soft/jdk-9.0.1
SPARK_MASTER_IP=192.168.136.132(自己的主节点IP)

5、启动Spark

进到以下目录(也是spark的安装路径下的sbin)
cd /home/hadoop/spark/spark-1.6.1/sbin
start-all.sh

6、使用jps查看进程
worker
jps
7、进入电脑浏览器输入主机名:8080可以查看spark的详细详细信息

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Spark 介绍 下一篇Spark 1.X DatandaLone伪分布环境..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目