您可以通过数据处理模块构建计算任务。例如,同步数据、创建目标表、构建数据模型及加工逻辑表。
版本功能介绍
Dataphin不同版本,支持构建不同类型的计算任务。
版本 | 计算任务类型 |
---|---|
智能研发版 | SQL、Spark、MapReduce、Shell、Python、Virtual、Flink_SQL、Flink_Template_SQL和Flink_DataStream。 |
基础研发版 | ADB for PostgreSQL、Shell、Python、Virtual、Flink_SQL、Flink_Template_SQL和Flink_DataStream。 |
Flink_SQL和Flink_Template_SQL类型的任务,既支持处理实时数据又支持处理离线数据。
使用场景说明
场景 | 流程 | 操作指导 |
---|---|---|
开发MAXC任务 | 新建资源 | 新建资源 |
新建用户自定义函数 | 新建用户自定义函数 | |
新建MAXC任务 | 新建MAXC任务 | |
开发FLINK任务 | 新建资源 | 新建资源 |
新建用户自定义函数 | 新建用户自定义函数 | |
新建元表或新建镜像表 | ||
新建代码模板 | 如果FLINK任务的Flink_Template_SQL类型的计算任务,则可以新建代码模板,详情请参见新建代码模板 | |
新建FLINK任务 | 新建FLINK任务 | |
开发ADB任务 | 新建资源 | 新建资源 |
新建用户自定义函数 | 新建用户自定义函数 | |
新建ADB任务 | 新建ADB for PostgreSQL任务 |