standalone cluster配置

进到路径下：/spark/conf ，查看spark-env.sh内容：

SPARK_MASTER_IP=bigdata-training01.hpsk.com       （主节点在哪）
SPARK_MASTER_PORT=7077    （端口号7077）
SPARK_MASTER_WEBUI_PORT=8080      （WEB监控页面的端口号8080）
SPARK_WORKER_CORES=2      （在这台机器上运行这个woker服务，给多少核；2核）
SPARK_WORKER_MEMORY=2g    （内存2g）
SPARK_WORKER_PORT=7078    （端口号7078）
SPARK_WORKER_WEBUI_PORT=8081      （WEB UI端口号8081）
SPARK_WORKER_INSTANCES=1      （在这台机器上运行一个worker)

HistoryServer配置：

在spark/conf/spark-defaults.conf中查看是否含有：

spark.eventLog.enabled true       （记不记录事件日志）
spark.eventLog.dir     （记录在哪个路径下）
spark.eventLog.compress true      （记录时，压不压缩）