数据开发是Dataphin的核心功能,支持规范模型、数据处理和主题式查询。同时,数据开发模块对接了Dataphin的权限管理、运维和发布模块,致力于为您构建便捷、高效的数据开发平台。
背景信息
如果Dataphin实例为智能研发版,则数据开发支持规范建模、数据处理和即席查询。
如果Dataphin实例为基础研发版,则系统支持数据处理和即席查询,不支持规范建模功能。
功能介绍
Dataphin旨在为您提供工具化、自动化、智能化和价值化的智能数据构建与管理的平台:
- 规范建模:基于已明确的业务需求,从业务顶层开始设计,规范定义数据的标准及计算口径。同时,根据业务需求完成数据模型的设计。
规范建模为您提供可视化、标准化、规范化和自动化定义数据,而非传统手动写SQL代码的方式,这样就避免了统计指标计算口径不一致的情况。可视化构建数据仓库的模型,逻辑表提交后即生成对应智能黑盒调度任务,自动化生产数据。
说明 仅绑定业务板块的项目支持
规范建模功能。 - 数据处理:通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型任务的等。
- 即席查询:即主题式查询,面向业务主题的数据查询,屏蔽了物理模型中技术特性带来的影响,基于逻辑模型从业务视角出发对外提供查询服务。
Dataphin支持
Basic和
Dev-Prod的数据开发模式:
Basic和
Dev-Prod的数据开发模式:
- Basic项目绑定了Basic业务板块,系统支持规范建模功能。Basic项目绑定了Prod业务板块,则系统不支持规范建模功能,仅支持数据处理和即席查询功能。
- Dev项目支持规范建模、数据处理和即席查询功能。Prod项目支持规范建模和数据处理功能。
页面介绍
说明 如果您的Dataphin实例为基础研发版,则不支持
规范建模。
规范建模。
- Dev项目
功能区编号 描述 ① 当前打开的项目名称,以及项目的环境类型(Prod或Dev)。您可以单击项目名称后的 图标,在下拉列表中,依次选择项目分类(Prod、Dev或Basic)及项目名称,切换项目。同时,您也可以在搜索框中输入项目名称关键词,快速搜索项目,提高了搜索的效率。
② 环境类型标识按钮,单击 图标,切换Dev和Prod项目。Prod项目表示生产环境的项目,Dev项目表示开发环境项目。
例如,当前您访问的是Dev项目(编号②的环境类型标识为
图标),单击
图标后,切换至Prod项目(编号②的环境类型标识为
图标)。
说明
Basic项目没有环境类型标识按钮。③ 快速新建规范定义、逻辑表、数据处理和即席查询任务的入口。 ④ 刷新任务列表、新建文件和新建文件夹的按钮。 ⑤ 输入任务名称的关键字的方式,快速搜索任务。 ⑥ 已创建的文件夹、任务和文件列表。 ⑦ 左侧导航栏提供的规范建模和数据处理的相关操作入口。 ⑧ 数据开发模块提供萃取、集成、发布、运维和权限模块的入口。 ⑨ 在全局搜索框中输入物理表、逻辑表、规范定义、函数或资源等名称的关键字,搜索目标对象。您可以单击研发、萃取和资产页签,快速搜索目标对象。 同时,您也可以单击
图标,在代码搜索框中,输入代码的关键字快速搜索代码。
说明- 系统仅支持搜索已提交、开发中和已发布状态的代码
- 系统仅支持搜索版本升级后(2020年7月14日)提交过的代码。
⑩ 展示了规范定义包含的元素及相互关系,并提供了创建规范定义的入口。 ⑪ 展示了数据建模包含的元素,同时为您提供新建事实逻辑表和汇总逻辑表的入口。 ⑫ 展示了任务研发包含的计算任务、计算任务和同步任务的类型,并提供了创建任务的入口。 ⑬ 展示了文件引用包含的函数管理、自定义源、资源管理、代码模板和元表,并提供了创建文件的入口。 ⑭ 即席查询仅包含SQL查询,并提供了创建SQL查询的入口。 - Baisc项目
- Baisc(非Data_distill)与Dev项目页面功能相似,Baisc项目不支持发布功能。
- Data_distill项目
Data_distill和其他Baisc项目页面功能相似,但Data_distill项目不支持规范建模功能。
- Baisc(非Data_distill)与Dev项目页面功能相似,Baisc项目不支持发布功能。
- Prod项目
Prod和Dev项目页面功能相似,但Prod项目仅支持查看数据处理和规范建模模块的资源(资源在Dev项目开发并发布到Prod项目),不支持发布和即系查询功能。
SQL语法解析器的关键字
SELECT、DELETE、INSERT、UPDATE、FROM、HAVING、WHERE、ORDER、BY、GROUP、INTO、AS、CREATE、ALTER、DROP、SET、NULL、NOT、
DISTINCT、TABLE、TABLESPACE、VIEW、SEQUENCE、TRIGGER、USER、INDEX、SESSION、PROCEDURE、FUNCTION、PRIMARY、KEY、DEFAULT、
CONSTRAINT、CHECK、UNIQUE、FOREIGN、REFERENCES、EXPLAIN、FOR、IF、ADD、ALL、UNION、EXCEPT、INTERSECT、MINUS、INNER、LEFT、
RIGHT、FULL、OUTER、JOIN、ON、SCHEMA、CAST、COLUMN、USE、DATABASE、TO、AND、OR、XOR、CASE、WHEN、THEN、ELSE、ELSIF、END、
EXISTS、IN、NEW、ASC、DESC、IS、LIKE、ESCAPE、BETWEEN、VALUES、INTERVAL、LOCK、SOME、ANY、TRUNCATE、RETURN、TRUE、FALSE、
LIMIT、KILL、IDENTIFIED、PASSWORD、DUAL、BINARY、SHOW、REPLACE、PERIOD、BITS、WHILE、DO、LEAVE、ITERATE、REPEAT、UNTIL、
OPEN、CLOSE、OUT、INOUT、EXIT、UNDO、SQLSTATE、CONDITION、DIV、WINDOW、OFFSET、ROW、ROWS、ONLY、FIRST、NEXT、FETCH、OF、
SHARE、NOWAIT、RECURSIVE、TEMPORARY、TEMP、UNLOGGED、RESTART、IDENTITY、CONTINUE、CASCADE、RESTRICT、USING、CURRENT、RETURNING、
COMMENT、OVER、TYPE、ILIKE、RLIKE、FULLTEXT、START、PRIOR、CONNECT、WITH、EXTRACT、CURSOR、MERGE、MATCHED、ERRORS、
REJECT、UNLIMITED、BEGIN、EXCLUSIVE、MODE、WAIT、ADVISE、SYSDATE、DECLARE、EXCEPTION、GRANT、REVOKE、LOOP、GOTO、COMMIT、
SAVEPOINT、CROSS、PCTFREE、INITRANS、MAXTRANS、INITIALLY、ENABLE、DISABLE、SEGMENT、CREATION、IMMEDIATE、DEFERRED、STORAGE、
MINEXTENTS、MAXEXTENTS、MAXSIZE、PCTINCREASE、FLASH_CACHE、CELL_FLASH_CACHE、NONE、LOB、STORE、CHUNK、CACHE、NOCACHE、LOGGING、
NOCOMPRESS、KEEP_DUPLICATES、EXCEPTIONS、PURGE、COMPUTE、ANALYZE、OPTIMIZE、TOP、ARRAY、DISTRIBUTE、EOF、ERROR、IDENTIFIER、
HINT、VARIANT、LITERAL_INT、LITERAL_FLOAT、LITERAL_HEX、LITERAL_CHARS、LITERAL_NCHARS、LITERAL_ESCAPE、LITERAL_PATH、LITERAL_ALIAS、
LINE_COMMENT、MULTI_LINE_COMMENT、BINARY_FLOAT、BINARY_DOUBLE、PARTITION、PARTITIONED、OVERWRITE、SORT、SEL、LOCKING、
ACCESS、VOLATILE、MULTISET、POSITION、RANGE_N、FORMAT、QUALIFY、MOD、CONTAINS、CONCAT、UPSERT、LPAREN、RPAREN、LBRACE、
RBRACE、LBRACKET、RBRACKET、SEMI、COMMA、DOT、DOTDOT、DOTDOTDOT、EQ、GT、LT、LT_SUB_GT、BANG、BANGBANG、BANG_TILDE、
BANG_TILDE_STAR、BANG_TILDE_TILDE_STAR、TILDE、TILDE_STAR、TILDE_TILDE_STAR、TILDE_EQ、QUES、QUESQUES、QUESBAR、
QUESAMP、COLON、COLONCOLON、COLONEQ、EQEQ、EQGT、LTEQ、LTEQGT、LTGT、GTEQ、BANGEQ、BANGGT、BANGLT、AMPAMP、BARBAR、BARBARSLASH、
BARSLASH、PLUS、SUB、SUBGT、SUBGTGT、STAR、SLASH、AMP、BAR、CARET、CARETEQ、PERCENT、LTLT、GTGT、MONKEYS_AT、MONKEYS_AT_AT、
POUND、POUNDGT、POUNDGTGT、MONKEYS_AT_GT、LT_MONKEYS_AT、NOT_EXTEND_RIGHT、NOT_EXTEND_LEFT、DISTRIBUTED、WITHIN、TILDE_TILDE、
BANG_TILDE_TILDE、RANDOMLY、ENCODING、STATISTICS、INCLUSIVE、SUBPARTITION、EVERY、RENAME、WITHOUT、INVALIDATE、METADATA、
IMPORT、SERVER、OPTIONS