周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍脚本任务、逻辑表任务和萃取任务的通用功能说明。
请参见入口介绍,进入周期任务页面。
背景信息
周期实例生成方式为T+1次日生成:
- 23:00之前提交发布的任务,第二天实例生效。
- 23:00之后提交发布的任务,第三天实例生效。
调度方式
调度方式 | 描述 |
---|---|
正常调度 | 按照配置的调度周期和起调时间,并正常执行。 |
空跑调度 | 按照调度周期的时间配置调度,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。 |
暂停调度 | 暂停正常调度的任务后,调度到该任务会直接返回失败,不会执行。当前任务生成的实例及下游依赖实例均不调度。 |
恢复调度 | 恢复已暂停的任务后,当前任务节点生成的实例及下游依赖实例正常调度。 |
页面介绍
周期任务运维列表页面包括脚本任务、逻辑表任务和萃取任务。
周期任务页面以列表和DAG图的方式,为您展示已提交的周期任务。列表为您展示周期任务支持的运维管理操作,包括快速查看脚本任务、逻辑表任务和萃取任务的信息、快捷单节点运维操作和批量运维操作。DAG图支持可视化动态呈现该节点的上下游依赖关系,同时支持对上下游节点进行运维操作:
- 周期任务列表
周期任务列表页面展示当前业务类型的任务对象、调度周期、优先级、 负责人、 资源组、更新时间及支持的操作。说明
- 汇总逻辑表的负责人展示的是该汇总表包含所有指标的负责人,因此可能有多个责任人。
- 汇总逻辑表的优先级展示的是该汇总表包含所有指标的优先级,因此可能有多个优先级。
操作 描述 筛选 在上图的模块①区域,您可以通过筛选条件过滤需要查询的任务。 筛选项包括:- 我的任务:调度负责人为您自己的任务。
- 我的已暂停的任务:筛选负责人为您自己,且调度属性为暂停调度的任务。
- 我的空跑调度任务:筛选负责人为您自己,且调度属性为空跑调度的任务。
- 业务类型:Data_distill项目支持选择脚本任务和萃取任务。非Data_distill项目支持选择脚本任务、逻辑表任务。
- 细分类型:
- 业务类型选择为脚本任务时,细分类型包括MAX_COMPUTE_SQL、MAX_COMPUTE_MR、SPARK_JAR_ON_MAX_COMPUTE、SHELL、PYTHON、DATAX、DLINK、VIRTUAL、FLINK_SQL(流批一体任务)、FLINK_TEMPLATE_SQL(流批一体任务)。
- 业务类型选择为逻辑表任务时,细分类型包括维度逻辑表、事实逻辑表和汇总逻辑表。
- 业务类型选择为萃取任务时,细分类型包括标签节点、规则节点和萃取系统节点。
注意 仅Data_distill项目支持查看萃取任务。Data_distill项目不支持查看逻辑表任务。 - 调度周期:任务的调度周期,包括分钟、小时、日、周、月和年。
- 负责人:运维对象的负责人。
- 优先级:任务运行的优先级。
- 是否暂停:当前任务是否暂停调度。
如果您需要重新选,则单击重置,即可快速清空所有筛选条件,恢复系统默认。
DAG图 单击操作列下的 图标或单击任务对象名称,页面右侧为您展示以当前节点为中心节点的DAG图,默认展开上下各一层的父子节点的DAG图。同时,您也可以调整DAG图页面范围:
- 单击
图标,隐藏周期任务列表,放大DAG图。
- 单击
图标,隐藏DAG图。
- 您也可以将鼠标悬停至
图标拖动,以扩大或缩小DAG图的页面范围。
单节点运维 上图②区域,支持针对单节点进行运维管理。 批量节点运维 上图③区域,支持批量选中多个节点(或快捷本页全选)进行运维管理。 - 周期任务DAG图
编号 描述 ① 展示当前选中节点的概要信息。您还可以单击查看节点详情,查看更多节点信息,包括节点详情、操作日志和节点代码(物化代码)。 说明 逻辑表任务节点支持查看物化代码。脚本任务和逻辑表任务支持查看节点代码。② 展示任务的调度依赖关系图,支持向上向下展开更多节点,同时支持对上下游节点的运维操作。 针对跨项目的节点,系统仅支持展开父子节点和查看操作日志。您需要进入对应项目执行更多运维操作。说明 跨项目的虚拟节点仅支持展开父子节点。③ 快捷设置以main节点为中心向上向下展开层级。当展开节点较多不便查看时,您可以搜索节点名称以快速定位当前DAG图展示范围内的某个节点。 ④ 快捷调整DAG显示比例,包括设定显示比例(默认为100%)、在当前比例基础上放大(最大200%)、在当前比例基础上缩小(最小20%)、适应画布和全屏展示。 同时,展示当前DAG图中main节点的节点ID和节点名称。