设为首页 加入收藏

TOP

spark2.0.2安装记录
2019-03-15 01:05:18 】 浏览:32
Tags:spark2.0.2 安装 记录
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_36793147/article/details/88067175

1.安装前置依赖:

安装jkd,并配置环境变量;安装完成后,输入java和javac确保正常输出提示

安装scala,并配置环境变量;安装完成后,输入scala确保能进入交互模式

2.安装spark

先在主节点上安装软件包

1.从官网下载软件包spark-2.0.2-bin-hadoop2.6.tgz

2.将软件包解压到指定目录:tar -xf spark-2.0.2-bin-hadoop2.6.tgz -C /usr/local/apps/

3.配置环境变量,添加SPARK_HOME,值设为spark安装目录;并将安装目录下的bin和sbin目录绝对路径添加到PATH变量中

4.修改conf目录下的配置文件

(1)将conf文件全部重命名,去掉template后缀

(2)配置spark-env.sh文件,添加以下内容

JAVA_HOME=/usr/local/apps/jdk1.8.0_171
SCALA_HOME=/usr/local/apps/scala-2.12.8
HADOOP_HOME=/usr/local/apps/hadoop-2.6.5
HADOOP_CONF_DIR=/usr/local/apps/hadoop-2.6.5/etc/hadoop
SPARK_DIST_CLASSPATH=$HADOOP_CLASSPATH
SPARK_MASTER_IP=master
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_MASTER_CORES=1
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_WORKER_INSTANCES=1

(3)配置slaves文件,添加从节点的ip或者主机名称

master
data01
data02

(4)配置spark-defaults.conf文件,指定主节点地址和端口号

spark.master    spark://master:7077

3.将安装配置好的软件(java、scala、spark)和环境变量文件(~/.bash_profile)从主

诘憧奖吹酱咏诘阒

scp -r /usr/local/apps/spark-2.0.2/ hdp@data01:/usr/local/apps/
scp -r /usr/local/apps/spark-2.0.2/ hdp@data02:/usr/local/apps/
scp -r /.../java ...
scp -r /.../scala ...
scp ~/.bash_profile hdp@data01:/home/hdp/

4.启动测试器群

1.启动spark集群,在主节点操作

#切换至spark安装目录,运行命令
sbin/start-all.sh

2.测试spark运行状态

在浏览器中输入spark监控地址,http://master:8088,查看是否正常

在集群任意主机输入spark-shell,查看是否正常连接上集群


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Spark2.0较于Spark1.x的更新之处 下一篇Spark独立模式

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }