设为首页 加入收藏

TOP

Apache Spark的部署环境的小记
2019-05-12 13:32:07 】 浏览:111
Tags:Apache Spark 部署 环境 小记

Spark的单机版便于测试,同时通过SSH用Spark的内置部署脚本搭建Spark集群,使用Mesos、Yarn或者Chef来部署Spark。对于Spark在云环境中的部署,比如在EC2(基本环境和ECMR)上的部署。

  请移步,见我的下面博客

Spark运行模式概述

注意:EMR(Elastic MapReduce),即弹性MapReduce。 亚马逊弹性MapReduce(Amazon EMR)

1、从Spark源码搭建Spakr环境

2、在云环境搭建搭建Spakr环境

3、通过SSH搭建Spakr环境

  如果集群未安装任何集群管理软件,你能用一些方便Spark部署的脚本通过SSH部署Spark,这种方式在Spark文档中叫“standlone”模式。

4、在YARN上搭建Spakr环境

5、在Mesos上搭建Spakr环境

  进一步学习,请移步Spark集群搭建(1、3和5节点)(含CentOS系统和Ubuntu系统) (博主推荐)



本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5717422.html,如需转载请自行联系原作者

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Scala   WordCount 下一篇        ..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目