Spark2.1.0——内置Web框架详解
任何系统都需要提供监控功能，否则在运行期间发生一些异常时，我们将会束手无策。也许有人说，可以增加日志来解决这个问题。日志只能解决你的程序逻辑在运行期的监控，进而发现Bug，以及提供对业务有帮助的调试信息。当你的JVM进程奔溃或者程序响应速度很慢时，这些日志将毫无用处。好在JVM提供了jstat、jstack、jinfo、jmap、jhat等工具帮助我们分析，更有VisualVM的可视化界面以更加直观的方式对JVM运行期的状况进行监控。此外，像Tomcat、Hadoop等服务都提供了基于Web的监控页面，用浏览器能访问具有样式及布局，并提供丰富监控数据的页面无疑是一种简单、高效的方式。
Spark自然也提供了Web页面来浏览监控数据，而且Master、Worker、Driver根据自身功能提供了不同内容的Web监控页面。无论是Master、Worker，还是Driver，它们都使用了统一的Web框架WebUI。Master、Worker及Driver分别使用MasterWebUI、WorkerWebUI及SparkUI提供的Web界面服务，后三者都继承自WebUI，并增加了个性化的功能。此外，在Yarn或Mesos模式下还有WebUI的另一个扩展实现HistoryServer。HistoryServer将会展现已经运行完成的应用程序信息。本章以SparkUI为例，并深入分析WebUI的框架体系。
SparkUI概述
在大型分布式系统中，采用事件监听机制是最常见的。为什么要使用事件监听机制？假如Spark UI采用Scala的函数调用方式，那么随着整个集群规模的增加，对函数的调用会越来越多，最终会受到Driver所在JVM的线程数量限制而影响监控数据的更新，甚至出现监控数据无法及时显示给用户的情况。由于函数调用多数情况下是同步调用，这就导致线程被阻塞，在分布式环境中，还可能因为网络问题，导致线程被长时间占用。将函数调用更换为发送事件，事件的处理是异步的，当前线程可以继续执行后续逻辑进而被快速释放。线程池中的线程还可以被重用，这样整个系统的并发度会大大增加。发送的事件会存入缓存，由定时调度器取出后，分配给监听此事件的监听器对监控数据进行更新。Spark UI就是这样的服务，它的构成如图1所示。
图1 SparkUI的组成
图1展示了SparkUI中的各个组件，这里对这些组件作简单介绍：
- SparkListenerEvent事件的来源：包括DAGScheduler、SparkContext、DriverEndpoint、BlockManagerMasterEndpoint以及LocalSchedulerBackend等，这些组件将会产生各种SparkListenerEvent，并发送到listenerBus的事件队列中。DriverEndpoint是Driver在Standalone或local-cluster模式下与其他组件进行通信的组件，在《Spark内核设计的艺术》一书的第9.9.2节有详细介绍。BlockManagerMasterEndpoint是Driver对分配给应用的所有Executor及其BlockManager进行统一管理的组件，在《Spark内核设计的艺术》一书的6.8节详细介绍。LocalSchedulerBackend是local模式下的调度后端接口，用于给任务分配资源或对任务的状态进行更新，在《Spark内核设计的艺术》一书的7.8.2节详细介绍。
- 事件总线listenerBus。根据3.3节对事件总线的介绍，我们知道listenerBus通过定时器将SparkListenerEvent事件匹配到具体的SparkListener，进而改变各个SparkListener中的统计监控数据。
- Spark UI的界面。各个SparkListener内的统计监控数据将会被各种标签页和具体页面展示到Web界面。标签页有StagesTab、JobsTab、ExecutorsTab、EnvironmentTab以及StorageTab。每个标签页中包含若干个页面，例如StagesTab标签页中包含了AllStagesPage、StagePage及PoolPage三个页面。
- 控制台的展示。细心的读者会发现图1中还有SparkStatusTracker（Spark状态跟踪器）和ConsoleProgressBar（控制台进度条）两个组件。SparkStatusTracker负责对Job和Stage的监控，其实际也是使用了JobProgressListener中的监控数据，并额外进行了一些加工。ConsoleProgressBar负责将SparkStatusTracker提供的数据打印到控制台上。从最终展现的角度来看，SparkStatusTracker和ConsoleProgressBar不应该属于SparkUI的组成部分，但是由于其实现与JobProgressListener密切相关，所以将它们也放在了SparkUI的内容中。
WebUI框架体系
Spark UI构建在WebUI的框架体系之上，因此应当首先了解WebUI。WebUI定义了一种Web界面展现的框架，并提供返回Json格式数据的Web服务。WebUI用于展示一组标签页，WebUITab定义了标签页的规范。每个标签页中包含着一组页面，WebUIPage定义了页面的规范。我们将首先了解WebUIPage和WebUITab，最后从整体来看WebUI。
WebUIPage的定义
任何的Web界面往往由多个页面组成，每个页面都将提供不同的内容展示。WebUIPage是WebUI框架体系的页节点，定义了所有页面应当遵循的规范。抽象类WebUIPage的定义见代码清单1。
代码清单1 WebUIPage的定义
private[spark] abstract class WebUIPage(var prefix: String) {
def render(request: HttpServletRequest): Seq[Node]
def renderJson(request: HttpServletRequest): JValue = JNothing
}
WebUIPage定义了两个方法。
- render：渲染页面；
- renderJson：生成JSON。
WebUIPage在WebUI框架体系中的上一级节点（也可以称为父亲）可以是WebUI或者WebUITab，其成员属性prefix将与上级节点的路径一起构成当前WebUIPage的访问路径。
WebUITab的定义
有时候Web界面需要将多个页面作为一组内容放置在一起，这时候标签页是常见的展现形式。标签页WebUITab定义了所有标签页的规范，并用于展现一组WebUIPage。抽象类WebUITab的定义见代码清单2。
代码清单2 WebUITab的定义
private[spark] abstract class WebUITab(pa