本篇文章将深入介绍 Yarn 三种调度器。Yarn 本身作为资源管理和调度服务，其中的资源调度模块更是重中之重。下面将介绍 Yarn 中实现的调度器功能，以及内部执行逻辑。

一、简介

Yarn 最主要的功能就是资源管理与分配。本篇文章将对资源分配中最核心的组件调度器（Scheduler）进行介绍。
调度器最理想的目标是有资源请求时，立即满足。然而由于物理资源是有限的，就会存在资源如何分配的问题。针对不同资源需求量、不同优先级、不同资源类型等，很难找到一个完美的策略可以解决所有的应用场景。因此，Yarn提供了多种调度器和可配置的策略供我们选择。
Yarn 资源调度器均实现 ResourceScheduler 接口，是一个插拔式组件，用户可以通过配置参数来使用不同的调度器，也可以自己按照接口规范编写新的资源调度器。在 Yarn 中默认实现了三种调速器：FIFO Scheduler 、Capacity Scheduler、Fair Scheduler。
官方对三种调度器的介绍图。看个大概意思就行，随着调度器的不断更新迭代，这个图不再符合当下的情况。

二、FIFO

最简单的一个策略，仅做测试用。
用一个队列来存储提交等待的任务，先提交的任务就先分资源，有剩余的资源就给后续排队等待的任务，没有资源了后续任务就等着之前的任务释放资源。
优点：
简单，开箱即用，不需要额外的配置。早些版本的 Yarn 用 FIFO 作为默认调度策略，后续改为 CapacityScheduler 作为默认调度策略。
缺点：
除了简单外都是缺点，无法配置你各种想要的调度策略（限制资源量、限制用户、资源抢夺等）。

三、CapacityScheduler

一）CS 简介

Capacity Scheduler（后以 CS 简写代替）以队列为单位划分资源。会给每个队列配置最小保证资源和最大可用资源。最小配置资源保证队列一定能拿到这么多资源，有空闲可共享给其他队列使用；最大可用资源限制队列最多能使用的资源，防止过度消耗。
队列内部可以再嵌套，形成层级结构。队列内资源默认采用 FIFO 的方式分配。如下图所示。

优点：

• 队列最低资源保障，防止小应用饿死；
• 空闲容量共享，当队列配置资源有空闲时可共享给其他队列使用

缺点：

• 队列配置繁琐，父队列、子队列都要单独配置优先级、最大资源、最小资源、用户最大资源、用户最小资源、用户权限配置等等。工程中会写个程序，自动生成该配置；

二）CS 特征

• 分层队列 (Hierarchical Queues)：支持队列分层结构，子队列可分配父队列可用资源。
• 容量保证 (Capacity Guarantees)：每个队列都会配置最小容量保证，当集群资源紧张时，会保证每个队列至少能分到的资源。
• 弹性 (Elasticity)：当队列配置资源有空闲时，可以分配给其他有资源需求的队列。当再次需要这些资源时可以抢夺回这些资源。
• 安全性 (Security)：每个队列都有严格的 ACL，用于控制哪些用户可以向哪些队列提交应用程序。
• 多租户 (Multi-tenancy)：提供全面的限制以防止单个应用程序、用户和队列从整体上独占队列或集群的资源。
• 优先级调度 (Priority Scheduling)：此功能允许以不同的优先级提交和调度应用程序。同时队列间也支持优先级配置（2.9.0 后支持）。
• 绝对资源配置 (Absolute Resource Configuration)：管理员可以为队列指定绝对资源，而不是提供基于百分比的值（3.1.0 后支持）。
• 资源池配置：可将 NodeManager 分割到不同的资源池中，资源池中配置队列，进行资源隔离。同时资源池有共享和独立两种模式。在共享情况下，多余的资源会共享给 default 资源池。

三）CS 配置

假设队列层级如下：

root
├── prod
└── dev
    ├── eng
    └── science

可以通过配置 capacity-scheduler.xml 来实现：

<configuration>
  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>prod,dev</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.dev.queues</name>
    <value>eng,science</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.prod.capacity</name>
    <value>40</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.dev.capacity</name>
    <value>60</value>
  </property>

  <property>            
    <name>yarn.scheduler.capacity.root.dev.eng.capacity</name>
    <value>50</value>
  </property>

  <property>            
    <name>yarn.scheduler.capacity.root.dev.science.capacity</name>
    <value>50</value>
  </property>
</configuration>

除了容量配置外，还可以配置单个用户或者程序能够使用的最大资源数，同时可以运行几个应用，权限ACL控制等，不是本篇重点，不再展开。可参考：cloudera - Capacity Scheduler、Hadoop doc - Capacity Scheduler、Hadoop: Capacity Scheduler yarn容量调度配置。

四）CS 实现

这里仅关注 CS 资源分配的过程。
CS 分配的是各 NM 节点上的空闲资源，NM 资源汇报请到之前的文章《4-3 RM 管理 NodeManager》中了解。

1、资源请求描述

AM 通过心跳汇报资源请求，包含的信息如下。

message ResourceRequestProto {
  optional PriorityProto priority = 1;  // 优先级
  optional string resource_name = 2;		// 期望资源所在节点或机架
  optional ResourceProto capability = 3;	// 资源量
  optional int32 num_containers = 4;		// Container 数目
  optional bool relax_locality = 5 [default = true]; 	// 是否