为了保障数据生产的稳定性及对数据研发流程的强管控,Dataphin支持创建逻辑隔离(隔离数据的开发和生产)的项目空间(Dev项目和Prod项目)。本文为您介绍如何创建Prod和Dev项目空间。
前提条件
- 如果您需要研发流批一体任务,则在创建项目空间前需要完成Flink计算源的创建,请参见新建Flink计算源。
- 如果您选择的Dataphin的计算引擎为AnalyticDB for PostgreSQL,且数据研发过程中需要使用数据集成、即席查询、AnalyticDB for PostgreSQL的SQL计算任务等功能,则在创建项目空间前需要完成AnalyticDB for PostgreSQL计算源的创建,请参见新建AnalyticDB For PostgreSQL计算源。
- 如果您选择的Dataphin的计算引擎为MaxCompute,且数据研发过程中需要使用规范建模、即席查询、MaxCompute计算任务等功能,则在创建项目空间前需要完成MaxCompute计算源的创建,请参见新建MaxCompute计算源。
背景信息
Dataphin支持两种开发模式的项目空间。
项目空间的模式 | 描述 |
---|---|
Dev-Prod模式 |
完成项目空间的创建后,系统默认生成了开发环境(Dev项目)和生产环境(Prod项目)。Prod项目保障了生产环境项目中的数据安全。如果您管理诉求较强,数据研发人员较多且能力及分工明确,数据计算存储预算较高,推荐此模式。
![]() |
Basic模式 | 完成项目空间的创建后,系统默认生成了Basic项目(开发和生产一体的项目)。Basic项目的数据生产过程稳定且便捷。如果您关注数据研发效率,研发人员职能边界模糊,计算存储预算有限制,推荐此模式。Basic项目的更多信息,请参见创建Basic项目空间。![]()
注意
|
使用限制
- 创建项目空间的权限限制说明:
- 系统支持超级管理员角色和板块管理员角色的账号创建项目空间。
- 系统仅支持项目管理员和板块管理员角色的账号,关闭和开启数据表读写的权限申请。
更多信息权限信息,请参见数仓规划权限列表。
- 创建项目空间的限制说明:
- 一个计算源仅支持被一个项目绑定。
- 项目绑定计算源后,不支持修改计算源。
- 项目至少需要绑定一个计算源,为项目提供计算和存储空间。
注意事项
Dev项目和Prod项目中配置的计算源需保持一致,否则可能导致生产环境的任务调度失败。
操作流程
操作流程 | 描述 |
---|---|
步骤一:选择项目空间类型 | 选择项目空间的模式为Dev-Prod模式。
完成项目空间的创建后,系统自动生成互相关联的Dev环境和Prod环境,以强管控数据生产过程、生产的数据。 |
步骤二:配置项目空间的名称和命名空间 | 配置项目空间的基本信息,包括项目空间的名称和命名空间。 |
步骤三:配置项目空间的计算源 | 计算源为项目空间的提供计算和存储资源。
您也可以通过信息设置添加多个计算源,请参见添加计算源。 |
步骤四:配置项目空间的沙箱白名单 | 配置项目空间中的Shell、Python任务可以访问的IP地址或域名。
您也可以通过信息设置添加沙箱白名单,请参见添加沙箱白名单。 |
步骤五:配置项目空间的数据读写申请权限 | Dataphin支持通过项目粒度的方式,管控项目空间中的元表和物理表的读取和写入数据的权限申请。以规避审批者误操作,导致的数据泄露与安全问题:
您也可以通过信息设置配置项目空间的数据读写申请权限,请参见设置数据读写申请权限。 |
步骤一:选择项目空间类型
- 请参见入口介绍,进入数仓规划页面。
- 在数仓规划页面,单击左侧导航栏的项目管理。
- 在项目管理页面,单击页面右上方的新建项目。
- 在新建项目对话框,选择创建项目空间的模式为Dev-Prod 模式。
- 单击下一步。
步骤二:配置项目空间的名称和命名空间
在
新建项目页面的
名称设置和
命名空间区域,配置参数。
新建项目页面的
名称设置和
命名空间区域,配置参数。

区域 | 参数名称 | 描述 |
---|---|---|
名称设置 | 公用名称 | 填写项目空间的公用名称。公用名称由汉字、数字、字母、下划线(_)或短划线(-)组合组成。
注意 项目空间的公用英文名不支持以
LD_开头(业务板块英文名默认以 LD_作为前缀),以免引用逻辑表和物理表时出现冲突。 |
公用英文名 | 填写项目空间的公用英文名。公用英文名由字母、数字、下划线(_)组合组成。
开发环境项目英文名默认以
_dev作为后缀。 ![]()
注意
|
|
命名空间 | 业务板块 | 选择项目空间所属的业务板块。
注意 如果您购买的Dataphin实例为基础研发版,则系统不支持选择业务板块。
|
空间类型 | 区分项目开发任务及产出数据特征,默认为应用层。空间类型包括3种:
|
步骤三:配置项目空间的计算源
在
新建项目页面的
项目设置区域,配置参数。
新建项目页面的
项目设置区域,配置参数。

项目 | 参数 | 描述 |
---|---|---|
Dev项目 | 计算源 |
计算源为项目提供计算和存储资源。添加Dev项目的计算源:
注意
系统支持为项目绑定MaxCompute、AnalyticDB For PostgreSQL计算源时,同步创建数据源。如果选中同步创建数据源,系统自动为您创建数据同步或数据集成的目标数据源。创建数据源的机制,请参见同步创建数据源的机制。 |
英文名 | Dev项目的英文名默认为项目空间公用英文名后增加_dev。![]() |
|
名称 | Dev项目的名称默认为项目空间的公用名称后增加_开发。 | |
描述 | 填写对Dev项目的描述。 | |
开发操作 | 默认为代码编辑、发布管理、调度,不支持修改。 | |
业务板块 | 默认为命名空间区域设置的业务板块名称,不支持修改。 | |
Prod项目 | 计算源 | 计算源为项目提供计算和存储资源。添加Prod项目的计算源:
注意
|
英文名 | Prod项目的英文名默认与项目空间公用英文名保持一致。 | |
名称 | Prod项目的名称默认与项目空间的公用名称保持一致。 | |
描述 | 填写对Prod项目的描述。 | |
生产操作 | 默认为代码编辑(查看)、调度,不支持修改。 | |
业务板块 | 默认为命名空间区域设置的业务板块名称,不支持修改。 |
步骤四:配置项目空间的沙箱白名单
步骤五:配置项目空间的数据读写申请权限
同步创建数据源的机制
- 绑定的计算源类型为MaxCompute,同步创建数据源时,系统自动配置的参数信息如下。
参数 描述 数据源类型 系统默认配置MaxCompute。 数据源名称 系统默认配置为Prod计算源英文名。 数据源描述 系统默认配置为Prod项目的描述。 数据源配置 系统默认选择为生产+开发数据源。 开发数据源 Endpoint 系统默认填写Dev项目绑定的计算源的连接信息。 Project Name Access ID Access Key 生产数据源 Endpoint 系统默认填写Prod项目绑定的计算源的连接信息。 Project Name Access ID Access Key - 绑定的计算源类型为AnalyticDB For PostgreSQL,同步创建数据源时,系统自动配置的参数信息如下。
参数 描述 数据源类型 系统默认配置为AnalyticDB for PostgreSQL。 数据源名称 系统默认配置为Prod计算源英文名。 数据源描述 系统默认配置为Prod项目的描述。 数据源配置 系统默认选择为生产+开发数据源。 开发数据源 Endpoint 系统默认填写Dev项目绑定的计算源的连接信息。 Project Name Access ID Access Key 生产数据源 Endpoint 系统默认填写Prod项目绑定的计算源的连接信息。 Project Name Access ID Access Key
同步创建数据源过程中,系统校验规则如下:
- 数据源重名校验:如果已存在同名数据源,则数据源创建失败,项目创建不阻断。
- 数据源测试连接:如果测试连接失败,则数据源创建失败,项目创建不阻断。