本文为您介绍如何为生产环境中的维度逻辑表、事实逻辑表和汇总逻辑表补数据。
背景信息
发布至生产环境的数据次日才会参与调度,本教程为了让您快速熟悉智能数据构建与管理的流程,采用补数据的方式,模拟生产环境调度任务生成实例。
您需要为数据表dim_province、fct_order_pay_di、dws_province和管道任务test补数据。数据表的补数据操作相同,下文以dim_province为例介绍。
逻辑表任务补数据
- 登录Dataphin控制台。
- 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>。
- 进入生产环境的逻辑表运维页面。
- 在Dataphin首页,单击顶部菜单栏的研发。
- 在数据开发页面,单击项目名称后的
图标,单击Prod页签,选择beginner_test项目。
- 在数据开发页面,单击顶部菜单运维。
- 在运维页面,单击逻辑表运维页签。系统默认进入逻辑表任务页面。
- 在逻辑表任务页面,打开维度逻辑表任务(dim_province)文件夹后,单击维度逻辑表(dim_province)节点。
- 在右侧的DAG图中,右键单击维度逻辑任务节点,选择补数据。
- 在补数据对话框,本教程中的业务日期输入2020-08-10~2020-08-10,选择下游选择否。
在
补数据对话框,系统会自动生成
实例名称,您也可以手动修改实例名称。
- 单击确定。
- 查看补数据实例的运行结果。
- 单击全局运维页签。
- 在全局运维页签,单击左侧导航栏的
离线补数据实例图标。
- 在离线补数据实例页面,打开维度逻辑表补数据实例文件夹dim_province后,再单击维度逻辑表补数据实例节点。
- 在右侧的DAG图中,右键单击维度逻辑表dim_province节点,选择查看运行日志。
- 在运行日志页面,查看运行日志。
管道任务补数据
- 在全局运维页签,单击左侧导航栏中的
离线周期实例图标。
- 在离线周期任务页面,单击您开发的管道任务test。
- 在右侧的DAG图中,右键单击管道任务test节点,选择补数据。
- 在补数据对话框,将业务日期输入2020-08-10~2020-08-10,选择下游选择否。
在
补数据对话框,系统会自动生成
实例名称,您也可以手动修改实例名称。
- 单击确定。
- 查看补数据实例的运行结果。
- 在全局运维页签,单击左侧导航栏的
离线补数据实例图标。
- 在离线补数据实例页面,打开管道任务补数据实例文件夹test后,再单击管道任务补数据实例节点。
- 在右侧的DAG图中,右键单击管道任务test节点,选择查看运行日志。
- 在运行日志页面,查看运行日志。