离线整库迁移可以批量配置离线管道,一次性完成数据库内多张数据表的同步文件的配置。本文为您介绍如何配置离线整库迁移。
背景信息
整库迁移是为了提升用户效率、降低用户使用成本的一种快捷工具,它可以快速配置数据库内多张数据表的同步文件。
操作步骤
- 登录Dataphin控制台。
- 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>。
- 在Dataphin首页,单击顶部菜单栏的研发。
- 可选:在数据开发页面,单击项目名称后的
图标,选择数据开发的项目空间(Dev或Basic项目)。
如果您当前访问的是
Dev或
Basic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。 - 在数据开发页面,将鼠标悬停在顶部菜单栏的开发上,单击集成。
- 在数据集成页面,您可以通过以下方式,进入新建整库迁移页面。
- 将鼠标悬停在
图标,单击离线整库迁移。
- 将鼠标悬停在
图标,单击离线整库迁移。
- 将鼠标悬停在
- 根据新建整库迁移页面提示,配置参数。
- 配置基本信息区域参数。
参数 描述 脚本名称 填写脚本名称。脚本名称由字母、数字或下划线(_)组合组成,且字符长度为64个字符以内。 描述 填写脚本管道的简单描述。 - 配置数据源。
- 配置同步数据表。
参数 描述 来源表 选择来源表。 对应Maxcompute表 选择来源表后,生成对应MaxCompute表,名称默认与源表名一致。 转换配置 如果您需修改来源表的数据: - 单击转换配置。
- 在编辑转换规则页面:
- 单击表名转换后的新增规则,根据页面提示完成参数配置,即可修改来源表名。
- 单击字段名转换后的新增规则,根据页面提示完成参数配置,即可修改来源表中的字段名称。
- 在表名前缀输入框中填写表名前缀。
- 在数据过滤输入框中填写过滤条件,例如
gmt_modified>=${bizdate}
。
- 配置完成后单击保存并执行,对应Maxcompute表展示转换后的数据。
- 设置同步方式和配置同步并发。
参数 描述 同步方式设置 选择同步方式。同步方式设置包括每日全量和每日增量。 同步并发配置 选择同步并发配置。同步并发配置包括每日全量和分批上传。
- 配置基本信息区域参数。
- 完成参数的配置后,单击生成管道,完成离线整库迁移管道的创建并提交。
根据页面下方运行结果的提示,查看生成的管道。
- 可选:发布离线整库迁移。
- 如果您的数据开发模式是Dev-Prod模式,则需要发布离线整库迁移,详情请参见管理发布任务。
- 如果您的数据开发模式是Basic模式,则提交成功的离线整库迁移就可以参与调度。