逻辑表实例是Dataphin规范建模创建的逻辑表任务参与系统调度运维后生成的实例,支持的字段视角运维功能,本文为您介绍逻辑运维的背景及操作。
请参见入口介绍,进入逻辑表实例页面。
运行状态图标后的字段为当前逻辑表节点的字段数量,节点为当前逻辑表节点的物化节点数量。
背景信息
逻辑表实例包括维度逻辑表实例、事实逻辑表实例和汇总逻辑表实例。逻辑表任务参与系统运维调度后对应生成一个逻辑表实例节点,您可以从表视角或字段视角对需要运维的逻辑表实例进行操作。
规范建模采用动态物化逻辑,因此在物理运维视角下,您可能需要通过查看最新物化节点代码或运行日志的方式,了解每次针对物化节点的操作会影响的字段或逻辑表任务节点。例如,对某个逻辑表任务节点进行补数据时,需要先了解该逻辑表任务节点归属的物化节点,并对物化节点进行逐一补数据操作,这样补数据操作过程复杂,且无法保障数据一致性。
逻辑运维视角下,您只需要选择需要运维的字段或逻辑表实例节点,系统会按照当前物化拆分方式自动计算对应的物化节点,并按照数据一致性和正确性原则,为您提示需要连带操作的相关字段,无需关心物理实现方式,帮助您缩短操作路径,降低运维成本,提升运维效率。
列表区
操作 | 描述 | 限制 | 影响 |
---|---|---|---|
查看运行日志 | 查看实例运行的日志。 | 无 | 无 |
重跑 | 在逻辑表详情页面,重跑某个字段的或批量重跑字段。重跑字段,系统自动计算连带重跑的字段。
在逻辑表详情页面,仅限重跑操作。执行完重跑后页面刷新,支持继续依据字段状态执行对应的运维操作。
![]() 例如,逻辑表实例节点A,物化节点为B和C,物化节点B的字段为t1和t2,物化节点C的字段为t2和t3,字段t1和t3的运行状态为成功,字段t2为未运行状态,则该逻辑表的t1和t3字段支持重跑,t2不支持重跑。 |
系统仅支持重跑成功和失败状态的实例。 | 重跑后,当前实例节点及下游实例节点数据更新。 |
字段及批量操作 | 在逻辑表详情页面,支持单字段和批量字段运维操作:
详情请参见字段及批量操作。 在逻辑表详情页面,您可以对满足操作条件的字段执行相应的操作。 批量操作时,选中的所有字段都需要满足操作条件。 |
字段的运行状态需要满足相应操作条件。 | 无 |
查看生产链路 | 查看逻辑表实例中字段的物化链路及物化节点的字段组。![]()
|
无 | 无 |
查看消费链路 | 查看逻辑表实例节点的字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。![]()
|
该逻辑表任务节点的字段已有消费链路。 | 无 |
查看物化代码 | 查看该逻辑表实例的物化代码。![]() 在查看物化代码页面,您可以选择切换(在区域①切换)逻辑表所有的物化节点,查看物化代码。同时,您也可以将鼠标悬停至物化节点后的 |
无 | 无 |
查看任务 | 查看逻辑表实例对应的逻辑表任务。 | 无 | 无 |
查看生产节点 | 进入Prod项目中,查看该任务配置。 | Prod项目中该任务存在。 | 无 |
编辑开发节点 | 进入Dev项目下该任务的编辑页面,编辑该任务。仅适用于Dev-Prod开发模式。 | Dev项目中该任务存在。 | 编辑开发节点后,需要提交并发布后,生产节点的数据才会更新。 |
编辑节点 | 编辑某个节点对应的逻辑表任务,仅适用于Basic模式。 | Basic项目中该任务存在。 | 提交成功后,对应的调度节点才会更新。 |
重跑下游 | 重跑当前实例节点的下游节点。适用于如下场景,但不仅限于此:
在逻辑表详情页面,重跑某个字段的下游节点或批量重跑字段的下游节点。系统自动计算下游节点及连带重跑的字段,鼠标悬停至节点名后的 在逻辑表详情页面,仅限重跑下游操作。执行完重跑下游后页面刷新,支持继续依据字段状态执行对应的运维操作。 |
系统仅支持重跑成功和失败状态实例的下游节点。 | 重跑下游后,下游实例节点数据更新。 |
终止 | 终止正在运行中或等待中的实例,终止后实例的状态变更为失败。适用于如下场景,但不仅限于此:
在逻辑表详情页面,仅限终止操作。执行完终止后页面刷新,支持继续依据字段状态执行对应的运维操作。 |
系统仅支持终止运行中或等待中状态的实例。 | 当前实例节点终止运行后,该节点的下游节点也不会运行。 |
置成功继续调度 | 将运行失败的实例节点手动置运行成功,继续参与调度。
在逻辑表详情页面,仅限置成功继续调度操作。执行完置成功继续调度后页面刷新,支持继续依据字段状态执行对应的运维操作。 |
系统仅支持置成功继续调度失败的实例。 | 无 |
暂停 | 暂停实例节点当前周期的调度。
在逻辑表详情页面,仅限暂停操作。执行完暂停后页面刷新,支持继续依据字段状态执行对应的运维操作。
说明 暂停非实例的运行状态。暂停实例即暂停实例当前的运行,不影响该实例其他周期的运行。
|
系统仅支持暂停非暂停状态的实例节点。 | 暂停后,实例节点及下游依赖实例节点均不调度。 |
恢复 | 恢复实例节点为正常调度状态。
在逻辑表详情页面,仅限恢复操作。执行完恢复后页面刷新,支持继续依据字段状态执行对应的运维操作。 |
系统仅支持恢复已暂停的实例节点。 | 恢复后,当前实例节点及下游依赖实例节点正常调度。 |
批量操作区
操作 | 描述 | 限制 | 影响 |
---|---|---|---|
暂停 | 同时暂停多个实例节点的运行。
暂停实例即暂停实例的当前调度周期,不影响该实例其他调度周期。 |
选中的实例节点运行状态,均为非暂停状态的实例节点。 | 暂停后,当前实例节点及下游依赖实例节点均不调度。 |
重跑 | 同时重跑多个实例节点。 | 选中的实例节点运行状态,均为成功和失败状态的实例。 | 重跑后,下游实例节点数据更新。 |
终止 | 同时终止多个实例节点的运行。 | 选中的实例节点运行状态,均为运行中或等待中的实例。 | 终止后,当前实例节点终止运行后,该节点的下游节点也不会运行。 |
恢复 | 同时恢复多个实例节点为正常调度状态。 | 选中的实例节点运行状态,均为暂停状态的实例节点。 | 恢复后,当前任务节点正常生产调度实例。 |
置成功继续调度 | 同时置多个实例节点的运行状态为成功,并继续调度。 | 选中的实例节点运行状态,均为失败的实例节点。 | 无 |
字段及批量操作
如果通过字段及批量操作入口,进入逻辑表详情页面,则支持依据字段状态执行对应的运维操作。如果通过某个具体的操作入口,进入逻辑表详情页面,则仅支持执行对应的操作。执行完成后页面刷新,可以继续依据字段状态执行对应的运维操作。
例如,通过重跑操作入口,进入逻辑表详情页面,则仅支持重跑操作。执行完重跑操作后,即可依据字段状态执行其他的运维操作,例如,查看生产链路。
- 列表页
表 1.
列表页面说明
编号 说明 ① 展示逻辑表实例节点的基本信息,包括实例生成的业务日期、调度周期、负责对人、最新更新时间、所属项目。 ② 如果逻辑表实例节点的字段比较多,则通过区域②进行筛选: - 在快速输入框中输入字段名称的关键字搜索。
- 在运行状态的下拉列表中,选择运行状态进行筛选。
③ 支持针对单字段进行运维管理。详情请参见表 2。 ④ 展示逻辑表实例节点字段的运行详情,包括字段名称、运行状态、字段类型、开始运行时间、结束运行时间、运行时长。 ⑤ 支持选中多个节点(或快捷本页全选)进行运维管理,包括批量重跑、重跑下游、终止、暂停、置为成功和恢复操作。详情请参见表 3。 表 2.
单字段运维操作
操作 描述 查看生产链路 查看逻辑表实例中字段的物化链路及物化节点的字段组。详情参见列表区。 查看消费链路 查看逻辑表实例节点的字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。详情请参见列表区。 查看物化代码 查看该逻辑表实例的物化代码。详情请参见列表区。 查看运行日志 查看逻辑表字段的运行日志。 重跑 重跑当前实例节点及其下游未运行的实例节点。 重跑下游 重跑当前字段的下游节点。适用于如下场景,但不仅限于此: - 当前实例节点的数据已更新,需要同步更新下游节点数据。
- 实例节点的下游节点运行失败。
终止 终止正在运行中或等待中的实例节点。适用于如下场景,但不仅限于此: - 由于系统异常或操作失误,需要终止实例运行。
- 实例节点显示运行中,但数据一直未产出。可以手动终止运行并通过运行日志排查异常。
暂停 即将字段的当前调度周期置为暂停调度的状态。 暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。
置为成功 将运行失败的字段手动置运行成功,继续参与调度。 恢复 即可将当前节点置为正常调度的状态。 表 3.
多字段批量运维操作
操作 描述 重跑 同时重跑多个字段。 重跑下游 同时重跑多个字段的运行。 终止 同时终止多个字段的运行。 暂停 同时暂停多个字段的运行。 暂停字段即暂停字段的当前调度周期,不影响该字段其他调度周期。
置为成功 同时置多个字段的运行状态为成功,并继续调度。 恢复 同时恢复多个字段未正常调度状态。 说明 字段的批量运维操作与实例节点的批量运维操作的限制一致,详情请参见
批量操作区。 - 链路图
编号 描述 ① 展示逻辑表实例节点的基本信息,包括实例生成的业务日期、调度周期、负责对人、最新更新时间、所属项目。 ② 如果逻辑表实例节点的字段比较多,则通过区域②进行筛选: - 在快速输入框中输入字段名称的关键字搜索。
- 在运行状态的下拉列表中,选择运行状态进行筛选。
③ 展示逻辑表实例节点的字段。 同时,您也可以对多字段进行批量运维管理。选中多个节点后,单击页面下方选择操作后的
图标,选择批量操作。批量操作的更多信息,请参见表 3。
④ 默认展示选中字段的生产链路,您可以单击消费链路页签,查看字段的消费链路,详情请参见列表区。 您可以打开阻碍节点模式开关。开启后,快速定位阻碍当前节点运行的上游节点。
DAG图
DAG图清晰地为您展示任务节点的上下游依赖关系,同时系统支持对上下游节点进行运维和管理。DAG图默认展示Main节点和其上下游节点。
编号 | 描述 |
---|---|
① | 逻辑表实例节点和物化节点展示的节点信息不同:
节点详情,请参见页面介绍。 |
② | 为您展示逻辑表任务节点及其上下游节点的DAG图,包括如下信息:
|
操作 | 说明 |
---|---|
展开父节点 | 展开DAG图中Main节点不同层级的依赖节点。 |
展开子节点 | |
查看任务 | 进入生成当前实例节点的任务节点DAG图,查看任务节点详情、上下游节点信息及对任务节点进行运维管理等。 |
收起或展开物化节点 | 收起或展开当前逻辑表实例节点的物化节点。 |
查看物化代码 | 查看该逻辑表实例的物化代码。![]() 在查看物化代码页面,您可以选择切换(在区域①切换)逻辑表所有的物化节点,查看物化代码。同时,您也可以将鼠标悬停至物化节点后的 |
查看运行日志 | 查看逻辑表实例节点的运行日志。 |
编辑开发节点 | 进入Dev项目下该任务的编辑页面,编辑该任务,仅适用于Dev-Prod开发模式。 |
编辑节点 | 进入该任务的编辑页面,编辑该任务。仅适用于Basic开发模式。 |
查看生产节点 | 进入Prod项目中,查看该任务配置。 |
查看操作日志 | 查看逻辑表实例节点的操作日志。 |
字段及批量操作 | 进入逻辑表详情页面,支持从字段视角进行运维管理,详情请参见字段及批量操作。 |
查看生产链路 | 查看逻辑表实例物化的链路及物化节点的字段组,详情请参见列表区。 |
查看消费链路 | 查看逻辑表任务节点的字段被依赖的情况,以便您运维该字段时,分析对下游节点的影响。详情请参见列表区。 |
重跑 | 在逻辑表详情页面,重跑某个字段的或批量重跑字段。重跑某个字段,系统自动计算连带重跑的字段。
在逻辑表详情页面,仅限重跑操作。执行重跑后页面刷新,支持继续依据字段状态执行对应的运维操作。 例如,逻辑表实例节点A,物化节点为B和C,物化节点B的字段为t1和t2,物化节点C的字段为t2和t3,字段t1和t3的运行状态为成功,字段t2为未运行状态,则该逻辑表的t1和t3字段支持重跑,t2不支持重跑。 |
重跑下游 | 在逻辑表详情页面,重跑某个字段的或批量重跑字段。重跑字段,系统自动计算连带重跑的字段。
在逻辑表详情页面,仅限重跑下游操作。执行重跑下游后页面刷新,支持继续依据字段状态执行对应的运维操作。
![]() 例如,逻辑表实例节点A,物化节点为B和C,物化节点B的字段为t1和t2,物化节点C的字段为t2和t3,字段t1和t3的运行状态为成功,字段t2为未运行状态,则该逻辑表的t1和t3字段支持重跑,t2不支持重跑。 |
终止 | 终止正在运行中或等待中的实例,终止后实例的状态变更为失败。适用于如下场景,但不仅限于此:
在逻辑表详情页面,仅限终止操作。执行终止后页面刷新,支持继续依据字段状态执行对应的运维操作。 |
置成功继续调度 | 将运行失败的实例节点手动置运行成功,继续参与调度。
在逻辑表详情页面,仅限置成功继续调度操作。执行置成功继续调度后页面刷新,支持继续依据字段状态执行对应的运维操作。 |
暂停 | 暂停实例节点当前周期的调度。
在逻辑表详情页面,仅限暂停操作。执行暂停后页面刷新,支持继续依据字段状态执行对应的运维操作。
说明 暂停实例即暂停实例当前的运行,不影响该实例其他周期的运行。
|
恢复 | 恢复暂停实例节点为正常调度状态。 |