版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012922838/article/details/53889142
一.安装spark
安装可参照厦门大学数据实验室出的安装教程–Spark快速入门指南 - Spark安装与基础使用
二.Spark Python
参照官方文档–Spark Programming Guide
任何Spark程序都SparkContext开始，SparkContext的初始化需要一个SparkConf对象。所以所有的Spark Python的第一句都应该是
from pyspark import SparkContext，SparkConf
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf) appName 参数是在集群界面将会展示的应用名称，master 可以是Spark、Mesos、Yarn的集群URL，或者“local”。实际在集群上运行程序的时候，我们不需要把master 写死，可以通过spark-submit 来部署应用并接收参数。本地测试时则用“local”参数
In the PySpark shell, a special interpreter-aware SparkContext is already created for you, in the variable called sc. Making your own SparkContext will not work.