萃取任务由数据萃取模块生成。萃取任务包括行为规则任务、标签任务和系统任务。
说明 仅Data_disill项目支持查看萃取任务。
请参见入口介绍,进入萃取任务页面。
萃取任务的相关说明,请参见通用功能说明。
列表区
操作 | 描述 | 限制 | 影响 |
---|---|---|---|
查看周期实例 | 查看某个任务运行生产的周期实例。同时,您也可以对周期实例进行运维和管理。 | 任务已参与系统的调度,生成周期实例。 | 无 |
编辑行为规则 | 进入当前行为规则的编辑页面,编辑行为规则,请参见编辑行为规则。 | Data_distill项目中当前行为规则存在。 | 编辑行为规则后,需要提交成功后,对应调度节点的数据才会更新。 |
编辑标签 | 进入当前标签的编辑页面,编辑标签,详情请参见编辑工厂标签。 | Data_distill项目中当前标签存在。 | 编辑标签后,需要提交成功后,对应调度节点的数据才会更新。 |
查看节点代码 | 查看当前萃取任务节点代码。 | 无 | 无 |
查看通用补数据实例 | 查看并运维补数据操作生成的实例。 | 当前任务已通过通用补数据操作生成通用补数据实例。 | 无 |
查看萃取补数据实例 | 查看并运维补数据操作生成的实例。 | 当前任务已通过萃取补数据操作生成萃取补数据实例。 | 无 |
通用补数据 | 通用补数据即从当前节点出发,您可以自行选择需要补数据的下游节点,帮助您回刷历史分区数据。
补数据操作,请参见补数据。 |
无 | 补数据实例运行成功后,对应业务日期内的数据更新。 |
萃取补数据 | 萃取补数据仅需要选择补数据的行为规则节点或标签节点,系统将生成手动的系统任务,合并中间计算过程完成补数据操作,为您节省计算存储资源。
如果从业务视角补数据,推荐选择萃取补数据。 补数据操作,详情请参见补数据。
说明 新创建的标签提交后,必须进行萃取补数据。
|
无 | 补数据实例运行成功后,对应业务日期内的数据更新。 |
修改负责人 | 修改任务的责任人 | 无 | 修改后,当前责任人无法对当前任务进行运维操作。 |
修改优先级 | 在相同时间下,所有符合调度条件的任务,高优先级的优先运行。 | 修改任务优先级,即可生效,无需提交或发布任务。 | 修改任务的优先级后,再次调度按照最新优先级调度。 |
暂停 | 即可将当前任务节点置为暂停调度状态。 | 系统仅支持暂停非暂停状态的任务节点。 | 暂停后,正常生成实例,但当前任务生成的实例及下游依赖实例均不调度。 |
恢复 | 即可将当前节点置为正常调度状态。 | 系统仅支持恢复已暂停的任务节点。 | 恢复后,当前任务节点正常生产调度实例。 |
配置监控报警 | 配置任务运行的监控规则,请参见离线监控配置。 | 系统仅支持对Prod和Basic项目中的任务(及生产环境任务)配置监控。 | 任务运行过程中,如果触发了监控规则,系统会给您发送告警消息,便于您及时发现异常,保障业务数据正常产出。 |
批量操作区
操作 | 描述 | 限制 | 影响 |
---|---|---|---|
批量暂停任务 | 支持同时暂停多个任务。 | 选中的任务均为非暂停状态的任务节点,系统支持批量暂停操作。 | 暂停后,正常生成实例,但当前任务生成的实例及下游依赖实例均不调度。 |
恢复 | 即可将当前节点置为正常调度状态。 | 系统仅支持恢复已暂停的任务节点。 | 恢复后,当前任务节点正常生产调度实例。 |
批量修改任务的责任人 | 支持同时修改多个任务的责任人。 | 无 | 修改后,当前责任人无法对该任务进行运维操作。 |
批量修改任务的优先级 | 支持同时修改多个任务的优先级。 | 无 | 修改任务的优先级后,再次调度按照最新优先级调度。 |
DAG图
萃取DAG旨在为您展示来源表、行为规则和标签之间的数据依赖关系,即仅展示和当前选中行为规则和标签直接相关的上下游节点组成的静态DAG图(隐藏部分中间节点和系统节点),帮助您更直观地查看行为规则和标签的生产消费路径。标签数据产出异常时,您也可以基于萃取静态DAG图进行快速分析排查,避免无数据依赖关系节点的影响。
如果您希望查看包含萃取节点的全局调度依赖关系,需要以来源表节点或其他相关上下游节点为main节点展开DAG图。
DAG图清晰地为您展示任务节点的上下游依赖关系,同时系统支持对上下游节点进行运维和管理。DAG图默认展示mian节点(选中节点)及上下游第一层节点。通常,行为规则任务DAG图只有一个行为规则任务节点,标签DAG图只有一个标签任务节点。
萃取节点包括萃取系统节点、标签节点和行为规则节点。DAG节点显示框说明。
图标 | 描述 |
---|---|
![]() |
萃取系统节点。 |
![]() |
行为规则节点。 |
![]() |
标签中间节点簇。
标签中间节点簇包含标签中间计算过程的系统节点。支持展开和收起标签中间节点簇。收起时可以避免系统节点的干扰,更清晰地展示标签和行为规则之间的依赖关系。 |
![]() |
标签节点。 |
- 行为规则DAG图
表 1.
行为规则DAG图说明
编号 描述 ① 行为规则的上游节点包括萃取根节点oi_schedule_root_node及当前行为规则的来源表节点。 ② 行为规则节点簇默认呈收起状态,展示行为名称和当前行为规则的来源表名称。单击 ,展开行为规则节点簇。行为规则节点簇包括行为规则shell节点和行为规则节点。行为规则shell节点用于动态生成行为规则的代码,节省计算存储资源。
您也可以单击
图标,收起节点簇。
支持对行为规则节点和行为规则shell节点进行运维管理:- 鼠标悬停至行为规则节点显示框,右键单击或单击
图标,对当前行为规则节点进行运维管理,请参见表 2。
- shell节点属于萃取系统节点,仅支持系统节点对应的操作。
您也可以单击
图标,收起节点簇。
③ 行为规则节点和下游标签节点之间的标签计算过程节点,默认收起在标签中间节点簇内,为您更直观地展示行为和标签之间的依赖关系。 如果需要查看详细的节点依赖关系,单击
,展开行为标签中间节点簇。
您也可以单击
图标,收起节点簇。
鼠标悬停至系统节点显示框,右键单击或单击
图标,对当前系统节点进行运维管理,请参见表 4。
④ 标签节点以标签字样标识。鼠标悬停至标签节点显示框,右键单击或单击 图标,对当前标签节点进行运维管理,请参见表 3。
表 2.
行为规则节点支持的操作
操作 描述 查看周期实例 查看某个任务运行生产的周期实例。 查看通用补数据实例 查看通用补数据方式生成的补数据实例。 查看萃取补数据实例 查看萃取补数据方式生成的补数据实例。 系统生成手动的系统任务,合并中间计算过程完成补数据操作,为您节省计算存储资源。
查看节点代码 查看当前节点代码。 编辑行为规则 进入当前行为规则的编辑页面,编辑行为规则,请参见编辑行为规则。 通用补数据 通用补数据即从当前节点出发,您可以自行选择需要补数据的下游节点,帮助您回刷历史分区数据,请参见补数据。 萃取补数据 萃取补数据仅需要选择补数据的行为规则节点或标签节点,系统将生成手动的系统任务,合并中间计算过程完成补数据操作,为您节省计算存储资源,请参见补数据。 查看操作日志 查看当前节点的操作日志。 表 3.
标签节点支持的操作
操作 描述 查看周期实例 查看某个任务运行生产的周期实例。 查看通用补数据实例 查看通用补数据方式生成的补数据实例。 查看萃取补数据实例 查看萃取补数据方式生成的补数据实例。 系统生成手动的系统任务,合并中间计算过程完成补数据操作,为您节省计算存储资源。
查看节点代码 查看当前节点代码。 编辑标签 进入当前标签的编辑页面,编辑标签,请参见编辑工厂标签。 通用补数据 通用补数据即从当前节点出发,您可以自行选择需要补数据的下游节点,帮助您回刷历史分区数据,请参见补数据。 萃取补数据 萃取补数据仅需要选择补数据的行为规则节点或标签节点,系统将生成手动的系统任务,合并中间计算过程完成补数据操作,为您节省计算存储资源,请参见补数据。 查看操作日志 查看当前节点的操作日志。 表 4.
系统节点支持的操作
操作 描述 查看周期实例 查看某个任务运行生产的周期实例。 查看补数据实例 查看并运维补数据操作生成的实例。 查看节点代码 查看当前节点代码。 查看操作日志 查看当前节点的操作日志。 说明 因为系统节点受系统保障,因此仅支持部分操作。 - 鼠标悬停至行为规则节点显示框,右键单击或单击
- 标签DAG图
表 5.
标签DAG图说明
编号 描述 ① 萃取根节点oi_schedule_root_node。 ② 行为规则节点簇默认呈收起状态,展示行为名称和当前行为规则的来源表名称。行为规则节点簇的更多信息,请参见表 1。 ③ 展示ID倒排表节点。 ④ 行为规则节点和下游标签节点之间的标签计算过程节点,默认收起在标签中间节点簇内,为您更直观地展示行为和标签之间的依赖关系。如果需要查看详细的节点依赖关系,单击 ,展开行为标签中间节点簇。
标签中间节点簇的更多信息,请参见表 1。
⑤ 标签节点以标签字样标识。标签节点的更多信息,请参见表 1。
补数据
萃取任务补数据时,您可以选择通用补数据和萃取补数据。通用补数据即为周期任务补数据,即历史数据回刷操作。萃取补数据即更新行为看板的统计数据:
- 通用补数据
参数 描述 实例名称 系统自动生成,命名格式为节点名称_运行日期_实例化编号,您可以手动更改。 业务日期 选择需要进行补数据的业务日期区间,默认选中昨天,如果您只需要对单天进行补数据,则开始时间和结束时间选择相同日期即可。 说明 业务日期是调度系统默认参数。如果在配置任务的调度参数时,自定义了业务日期参数表达式,则系统按照自定义参数表达式进行计算转换。并发运行分组 并发运行分组是控制同时有多少个补数据进程在运行。您可以选择并发运行的组数,系统支持最少并发运行1组最多并发运行12组。 - 业务日期的跨度时间小于并发运行组数,则并行执行。例如,业务日期是1月11日~1月13日,并发运行组数为5,则会生成一个补数据实例文件夹,补数据实例文件夹下有三个业务日期的补数据实例。
- 业务日期的跨度时间大于并发运行组数,则可能兼有串行和并行。相同组内的实例按业务日期顺序运行,不同组之间的实例并行运行。例如,业务日期是1月11日~1月13日,并发运行组数为2,11号和12号为一组,13号为一组,11号和13号的实例同时开始运行,12号的实例则会在11号的实例运行完成后开始运行。
是否选择下游 选择是否为当前节点的下游节点补数据。当您选择是,系统会自动为您计算依赖当前选中节点的下游节点。 说明 如果下游节点是逻辑表任务节点,则依赖了当前选中节点的字段均会执行补数据操作。 - 行为规则萃取补数据
参数 描述 补数据生效时段 选择补数据任务业务日期的时间段。 实例名称 填写补数据生成的萃取实例名称。 - 标签萃取补数据
参数 描述 补数据生效时段 只需要选择补数据业务日期的结束时间,基于该标签配置的数据来源时间跨度自动计算开始时间,无需选择。 实例名称 填写补数据生成的萃取实例名称。