设为首页 加入收藏

TOP

spark集群模式的部署
2018-12-06 01:22:55 】 浏览:9
Tags:spark 集群 模式 部署

1.Spark 介绍


1】.spark处理大数据的统一分析计算引擎;
a.速度:在迭代循环的计算模型下,spark比Hadoop快100倍;
b.易用性:spark提供多种语言的API,如Java、Python、Scala、R、SQL等
c.扩展性:在spark RDD基础上,提供一整套的分析计算模型:spark SQL、spark Stresaming、spark MLLib和图计算;
d.运行: spark支持在hadoop、Hadoop, Apache Mesos, Kubernetes, standalone, or in the cloud.


2.spark安装部署

ps:下载网址:http://spark.apache.org/downloads.html

(选择与您的Hadoop相对应的版本,我的是Hadoop2.7.3)


0).版本选型:spark2.1.2。依赖scala2.11.8
1).下载spark2.1.2.tar.gz
2).解压安装:

$>cd /home/hyxy/soft/
$>cp /mnt/hgfs/2.安装环境/download/apache-spark/spark-2.1.2-bin-hadoop2.7.tgz .
$>tar -zxvf spark-2.1.2-bin-hadoop2.7.tgz
$>ln -s spark-2.1.2-bin-hadoop2.7 spark
3).配置环境变量
修改【~/.bash_profile】,在文件尾部追加以下内容:
#spark install
export SPARK_HOME=/home/hyxy/soft/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
$>source ~/.bash_profile
4).至此,单机版搭建完成!
$>spark-shell
访问WebUI:HTTP://master:4040

HTTP://master:4040:

2.Spark集群模式部署


0.说明:如果现有的集群框架中存在MR的相关应用,同时相关的MR无法转换为Spark应用的,集群选型为Spark On Yarn;
如果现有的集群框架中只有Spark应用,那么建议采用spark Standalone模式;
1.spark可以运行在不同的计算引擎上,所以集群模式安装分不同种情况:
说明:spark的Standalone模式和Spark on Yarn占比比较多。


a.spark的Standalone集群模式安装


1.(位置:在spark/conf/下)复制三个文件,并修改:
$>cp spark-env.sh.template spark-env.sh
添加以下内容,注意:“=”附近无空格:
export JAVA_HOME=/home/hyxy/soft/jdk
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
$>cp slaves.template slaves
添加工作节点(Worker),如下:
master
slave1
slave2
$>cp spark-defaults.conf.template spark-defaults.conf
2.远程scp复制spark安装目录至其它节点:slave1和slave2;
$>scp -r ~/soft/spark-2.1.2-bin-hadoop2.7/ hyxy@slave1:/home/hyxy/soft/
$>ln -s spark-2.1.2-bin-hadoop2.7 spark //在Slave1节点上
3.分别修改slave1、slave2等的环境变量
4.开启spark Standalone集群的守护进程
$>start-master.sh //开启spark的Master守护进程
$>start-slaves.sh //开启spark的Worker守护进程
5.测试
访问WebUI界面:http://master:8080
$>spark-shell --master spark://master:7077
观察WebUI的网页说明;


b.Spark on Yarn集群模式安装(记得先stop-slaves.sh 和 stop-master.sh)


1).修改spark/conf/spark-env.sh文件,添加以下内容:
export HADOOP_CONF_DIR=/home/hyxy/soft/hadoop/etc/hadoop
2).测试:
开启hadoop:
$>zkserver.sh start
$>start-dfs.sh
$>start-yarn.sh
启动spark:
$>spark-shell --master yarn-client
3).注意:抛异常,资源调用超出上限,修改默认校验
修改Hadoop/etc/hadoop/yarn-site.xml文件
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
分发至集群其它节点

4)重启yarn
stop-yarn.sh
start-yarn.sh

5)运行启动命令:spark-shell --master yarn client

启动过程很慢,请耐心等待哈

最后结果:

恭喜你已经搭建成功啦,哈哈哈


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Spark Streaming知识总结 下一篇Beginning Apache Spark 2 免积分..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }