提交任务的两个命令

spark-submit 程序执行之后，application就会退出。
spark-shell 会一直占有一个application，手动退出。 ctrl + c

spark-shell

是一个交互式的命令行,主要用于测试。

spark-shell脚本，实际上调用的是spark-submit脚本：

spark-shell --master spark://hadoop01:7077

在spark-shell中，已经为我们初始化好了一个SparkContext，名称是sc。

在写spark程序之前，必须创建SparkContext实例对象。

spark-submit

local

本地模式 开箱即用,不指定master
或者
--master local local[N] local[*]
local: 只是用一个cores
local[N] : 使用N个cores
local[*] : 使用当前机器的所有的可以用的cores

注 : local 模式运行程序时 , 不能在 Spark 监控页面中进行查看

以求圆周率为例 :

spark-submit --class org.apache.spark.examples.SparkPi /usr/local/spark-2.2.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.1.jar 1000

standalone

spark本身提供的集群模式
--master spark://host:port

以求圆周率为例

--master spark://hadoop01:7077 指定提交到集群

spark-submit --master spark://hadoop01:7077 --class org.apache.spark.examples.SparkPi /usr/local/spark-2.2.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.1.jar 1000

提交到集群中是可以在Spark监控页面中查看到的

运行结果 :

运行完以后 , 在监控页面中可以看到Completed中有显示任务完成

Yarn

统一的资源调度平台
--master yarn

mesos

类似于yarn，资源调度平台
--master mesos://host:port