Spark2.1.0——内置Web框架详解 - 数据库编程

TOP

Spark2.1.0——内置Web框架详解(四)

2019-09-17 18:20:02 【大中小】浏览:86次

val pagePath = "/" + page.prefix val renderHandler = createServletHandler(pagePath, (request: HttpServletRequest) => page.render(request), securityManager, conf, basePath) val renderJsonHandler = createServletHandler(pagePath.stripSuffix("/") + "/json", (request: HttpServletRequest) => page.renderJson(request), securityManager, conf, basePath) attachHandler(renderHandler) attachHandler(renderJsonHandler) val handlers = pageToHandlers.getOrElseUpdate(page, ArrayBuffer[ServletContextHandler]()) handlers += renderHandler }

detachPage：作用与attachPage相反。detachPage的实现见代码清单6。

代码清单6 detachPage的实现

  def detachPage(page: WebUIPage) {
    pageToHandlers.remove(page).foreach(_.foreach(detachHandler))
  }

attachTab：首先向tabs中添加WebUITab，然后给WebUITab中的每个WebUIPage施加attachPage方法。attachTab的实现见代码清单7。

代码清单7 attachTab的实现

  def attachTab(tab: WebUITab) {
    tab.pages.foreach(attachPage)
    tabs += tab
  }

detachTab：作用与attachTab相反。detachTab的实现见代码清单8。

代码清单8 detachTab的实现

  def detachTab(tab: WebUITab) {
    tab.pages.foreach(detachPage)
    tabs -= tab
  }

addStaticHandler：首先调用工具类JettyUtils的createStaticHandler方法创建静态文件服务的ServletContextHandler，然后施加attachHandler方法。addStaticHandler的实现见代码清单9。JettyUtils的createStaticHandler方法的实现见附录C。

代码清单9 addStaticHandler的实现

  def addStaticHandler(resourceBase: String, path: String): Unit = {
    attachHandler(JettyUtils.createStaticHandler(resourceBase, path))
  }

removeStaticHandler：作用与addStaticHandler相反。removeStaticHandler的实现见代码清单10。

代码清单10 removeStaticHandler的实现

  def removeStaticHandler(path: String): Unit = {
    handlers.find(_.getContextPath() == path).foreach(detachHandler)
  }

initialize：用于初始化WebUI服务中的所有组件。WebUI中此方法未实现，需要子类实现。
bind：启动与WebUI绑定的Jetty服务。bind方法的实现见代码清单11。

代码清单11 bind的实现

  def bind() {
    assert(!serverInfo.isDefined, s"Attempted to bind $className more than once!")
    try {
      val host = Option(conf.getenv("SPARK_LOCAL_IP")).getOrElse("0.0.0.0")
      serverInfo = Some(startJettyServer(host, port, sslOptions, handlers, conf, name))
      logInfo(s"Bound $className to $host, and started at $webUrl")
    } catch {
      case e: Exception =>
        logError(s"Failed to bind $className", e)
        System.exit(1)
    }
  }

webUrl：获取WebUI的Web界面的URL。webUrl的实现如下：

  def webUrl: String = shttp://$publicHostName:$boundPort

boundPort：获取WebUI的Jetty服务的端口。boundPort的实现如下：

  def boundPort: Int = serverInfo.map(_.boundPort).getOrElse(-1)

stop：停止WebUI。实际是停止WebUI底层的Jetty服务。stop方法的实现见代码清单12。

代码清单12 stop方法的实现

  def stop() {
    assert(serverInfo.isDefined,
      s"Attempted to stop $className before binding to a server!")
    serverInfo.get.stop()
  }

创建SparkUI

　　在SparkContext的初始化过程中，会创建SparkUI。有了对WebUI的总体认识，现在是时候了解SparkContext是如何构造SparkUI的了。SparkUI是WebUI框架的使用范例，了解了SparkUI的创建过程，读者对MasterWebUI、WorkerWebUI及HistoryServer的创建过程也必然了然于心。创建SparkUI的代码如下：

    _statusTracker = new SparkStatusTracker(this)

    _progressBar =
      if (_conf.getBoolean("spark.ui.showCons

首页上一页 1 2 3 4 5 6 下一页尾页 4/6/6
【大中小】【打印】【繁体】【投稿】【收藏】【推荐】【举报】【评论】【关闭】【返回顶部】

上一篇：MySQL向数据库表的某字段追加数据	下一篇：PHP+jQuery实现双击修改table表格