设为首页 加入收藏

TOP

【深入浅出 Yarn 架构与实现】2-3 Yarn 基础库 - 服务库与事件库(一)
2023-07-25 21:31:51 】 浏览:53
Tags:Yarn 2-3

一个庞大的分布式系统,各个组件间是如何协调工作的?组件是如何解耦的?线程运行如何更高效,减少阻塞带来的低效问题?本节将对 Yarn 的服务库和事件库进行介绍,看看 Yarn 是如何解决这些问题的。

一、服务库

一)简介

对于生命周期较长的对象,Yarn 采用基于服务的模型对其进行管理,有以下几个特点:

  • 基于状态管理:分为 4 个状态:NOTINITED(被创建)、INITED(已初始化)、 STARTED(已启动)、STOPPED(已停止)。
  • 服务状态的变化会触发其他的操作。
  • 可通过组合的方式对服务进行组合。

二)源码简析

源代码地址在 hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/serviceService 接口中。
其中定义了服务的四个状态,以及需要实现的状态转换、获取信息、注册等方法。

public interface Service extends Closeable {

  public enum STATE {
    NOTINITED(0, "NOTINITED"),
    INITED(1, "INITED"),
    STARTED(2, "STARTED"),
    STOPPED(3, "STOPPED");
  }

  void init(Configuration config);
  void start();
  void stop();
  void close() throws IOException;
  void registerServiceListener(ServiceStateChangeListener listener);
  // ......

抽象类 AbstractService 实现了 Service 接口,提供了基础的 Service 实现,非组合服务直接继承这个抽象类再开发即可。

public abstract class AbstractService implements Service {
  // 以 start 实现为例,执行后会触发其他的操作
  public void start() {
    if (isInState(STATE.STARTED)) {
      return;
    }
    //enter the started state
    synchronized (stateChangeLock) {
      if (stateModel.enterState(STATE.STARTED) != STATE.STARTED) {
        try {
          startTime = System.currentTimeMillis();
          serviceStart();
          if (isInState(STATE.STARTED)) {
            //if the service started (and isn't now in a later state), notify
            if (LOG.isDebugEnabled()) {
              LOG.debug("Service " + getName() + " is started");
            }
            notifyListeners();
          }
        } catch (Exception e) {
          noteFailure(e);
          ServiceOperations.stopQuietly(LOG, this);
          throw ServiceStateException.convert(e);
        }
      }
    }
  }

  // ......

对于组合类的服务如 ResourceManager、NodeManager 等,需要继承 CompositeService。其中会有对组合服务的逻辑处理。

  public List<Service> getServices() {
    synchronized (serviceList) {
      return new ArrayList<Service>(serviceList);
    }
  }

  protected void addService(Service service) {
    if (LOG.isDebugEnabled()) {
      LOG.debug("Adding service " + service.getName());
    }
    synchronized (serviceList) {
      serviceList.add(service);
    }
  }

二、事件库

传统函数式调用的问题:
整个执行过程是串行、同步进行的。调用另一个函数的时候,需要等待函数执行完毕,才会继续往下走。示意图如下:
image.png

为了解决函数式调用的问题,可使用「事件驱动」的编程模型。

  • 所有对象都被抽象成事件处理器
  • 事件处理器之间通过事件相关联
  • 每种事件处理器处理一种事件
  • 根据需要会触发另一种事件
  • 每类事件的处理可分割为多个步骤,用有限状态机表示
  • 重要的是有一个「中央异步调度器(AsyncDispatcher)」,负责对待处理事件的收取和分发

示意图如下:
image.png

通过以上的方式,可以使程序有低耦合高内聚的特点,各个模块仅需完成各自的功能,同时提高了执行效率,把拆分的操作通过事件的方式发送出去即可。

三、服务库和事件库使用案例

本节将实现一个简化版的 MapReduce ApplicationMaster,帮助了解 service 和 event 的使用方法。
与 MR 类似,一个 job 将被分为多个 task 执行。因此涉及 job 和 task 两种对象的事件。并有一个 AsyncDispatcher 处理调度。
案例已上传至 github,有帮助可以点个 ??
https://github.com/Simon-Ace/hadoop-yarn-study-demo/tree/master/service-event-demo

一)事件部分

参考 hadoop 源码中 Task 和 Job Event 的实现,进行一些简化。
1、task

public enum TaskEventType {

  //Producer:Client, Job
  T_KILL,

  //Producer:Job
  T_SCHEDULE
}
public class TaskEvent extends AbstractEvent<TaskEventType> {

  private String taskID;

  public TaskEvent(String taskID, TaskEventType type) {
    super(type);
    this.taskID = taskID;
  }

  public String getTaskID() {
    return taskID;
  }
}

2、job

public enum JobEventType {

  //Producer:Client
  JOB_KILL,

  //Producer:MRAppMaster
  JOB_INIT
}
public class JobEvent extends AbstractEvent<JobEventType> {

    private String jobID;

    public JobEvent(String jobID, JobEventType type) {
        super(type);
        this.jobID = jobID;
    }

    public St
首页 上一页 1 2 3 下一页 尾页 1/3/3
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇dubbo 笔记 下一篇牛客网BC115---超级圣诞树(java)

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目