Spark环境搭建

Spark安装
下载（下载Spark的源代码）-解压-配置系统环境变量-检查是否安装成功
spark官网下载（根据spark的源码进行编译）

运行spark：
./spark-shell (如果是本地测试就用local，如果是跑在集群上就用yarn) （最终项目是跑在yarn上进行演示）
./spark-shell --master local[2]

Spark context Web UI available at http://192.168.15.130:4040

使用IDEA整合MAVEN搭建Spark Streaming 开发环境

pom.xml里添加相应的依赖