离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数,包括计算引擎源常用且系统默认支持的函数和用户自定义函数,前者不支持编辑操作。本文为您介绍如何新建用户自定义函数。
前提条件
完成资源的创建,详情请参见
新建资源。
背景信息
Dataphin系统根据函数类型定义了函数的目录,帮助您更好地管理函数。
操作步骤
- 登录Dataphin控制台。
- 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>。
您可以通过以下方式,快速进入工作区:
- 选择工作区地域后,单击快速开始相关工作区域中的数据研发。
- 选择工作区地域后,单击快速进入研发项目后的Dev或Basic页签,选择相应的项目。
说明- 如果您通过快速开始相关工作进入数据开发模块,则跳过步骤3.i。
- 如果您通过快速进入研发项目进入数据开发模块,则跳过步骤3.ii。
- 进入函数管理页面。
- 在Dataphin首页,单击顶部菜单栏的研发。
- 在数据开发页面,单击项目名称后的
图标,选择数据开发的项目空间(Dev或Basic项目)。
如果您当前访问的是
Dev或
Basic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。 - 在数据开发页面,单击数据处理。
- 在数据处理页签,单击左侧导航栏的
函数管理图标。
- 在函数管理页面,进入新建函数对话框。
系统支持新建的函数类型,根据Dataphin系统的计算引擎不同而不同:
- 如果Dataphin系统的计算引擎为MaxCompute,则系统支持选择MAXC函数或FLINK函数。
- 如果Dataphin系统的计算引擎为ADB for PostgreSQL,则系统支持选择ADB函数或FLINK函数。
您可以通过以下任何一种方式,进入
新建函数对话框:- 单击函数管理后的
图标,选择新建函数类型。
- 单击项目名称后的
图标,选择数据处理 > 函数后选择函数类型。
- 在数据开发首页,单击ADB函数、MAXC函数或FLINK函数下的
图标。
- 在新建函数对话框,配置参数。
参数 描述 名称 填写名称。名称由字母,数字,下划线(_)组合组成,且首字符仅限字母。 选择资源 选择资源文件。下拉框中提供的是匹配当前项目的资源名称。 说明- 当前,仅支持选择PYTHON、JAR格式的文件进行定义函数。
- 选择多个资源时,仅限但选择同一种资源类型。
- 如果您还没有资源,请参见新建资源创建资源。
类名 填写类名。针对MaxCompute的计算类型中的资源,提取资源中类的内容,例如 test_udf.UDFGETSrcId
。类型 选择类型,下拉框中可供选择的类型包含窗口、统计、数值、字符串、时间、ip地址相关函数、URL、编译码、业务、其他。 命令格式 填写命令格式。命令格式即函数引用格式,例如, bigintweekday (datetime date)
。使用文档 填写函数使用描述,例如。 select get_week_date("20170810",0,2),--获取8月10日,本周周二日期。 from cndata.dual
选择目录 系统默认为当前函数类型的目录。如果您需要修改,则系统仅支持修改该函数类型目录下的子目录。 例如,您新建的是MAXC函数,则系统自动为您选中MAXC函数为目录。如果您需要修改目录, 则系统仅支持选择MAXC函数目录下的子目录。
- 提交用户自定义函数。
- 完成参数配置后,单击提交。
- 在提交备注页面,填写备注信息。
- 单击确定并提交,完成用户自定义函数的创建,即将自定义函数注册至MaxCompute或ADB for PostgreSQL。
说明 如果自定义函数引用的资源有更新,则需重新提交自定义函数,这样注册至MaxCompute或ADB for PostgreSQL的自定义函数才会更新。您可以通过
即席查询(请参见
新建即席查询)编写SQL代码(SQL代码中引用该函数)验证函数是否符合预期效果。SQL查询语句示例如下。select get_week_date("20170810",0,2),--获取8月10日本周周二日期。 from cndata.dual
- 可选:发布用户自定义函数至生产环境。
- 如果您的开发模式是Dev-Prod,则需要发布已提交的用户自定义函数,详情请参见管理发布任务。
- 如果您的开发模式是Basic,则提交成功的用户自定义函数,即可进入生产环境。
对已添加的用户自定义函数,您可以执行如下操作。操作 描述 查看离线计算函数信息 Dataphin支持查看离线计算函数的基本信息、引用信息和版本信息: - 在离线计算函数页面,单击左侧功能区域中需要查看信息的离线计算函数。
- 在函数管理属性页面,您可以查看基本信息、引用信息及版本信息:
- 在引用信息区域,单击某个引用信息后,就可以进入引用该函数的对应的模块,查看引用信息的详情。
说明 如果离线计算函数没有被任务引用,则您将无法看到
引用信息。 - 在版本信息区域:
- 将鼠标悬停在某个版本所在行操作列下的
图标,查看对应版本的详细信息。
- 单击某个版本所在行操作列下的
图标。在提示对话框,单击确定,回滚至该版本。
- 将鼠标悬停在某个版本所在行操作列下的
- 在引用信息区域,单击某个引用信息后,就可以进入引用该函数的对应的模块,查看引用信息的详情。
修改用户自定义函数 离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数,包括计算引擎源常用且系统默认支持的函数和用户自定义函数,前者不支持编辑操作: - 在离线计算函数页面,将鼠标悬停在需要修改的自定义函数后的
图标,单击编辑。
- 在编辑函数对话框,支持修改选择资源、类名、类型、命令格式和使用文档参数。
- 提交或发布用户自定义函数。
移动用户自定义函数 - 在离线计算函数页面,将鼠标悬停在需要移动的自定义函数后的
图标,单击移动。
- 在移动文件对话框,选择目录。
- 单击确定,完成自定义函数的移动。
删除用户自定义函数 说明 如果用户自定义函数被离线计算函数或离线计算任务引用,则不支持删除。- 在离线计算函数页面,将鼠标悬停在需删除的自定义函数后的
图标,单击删除。
- 在提示对话框,填写备注信息。
- 单击确定并提交,完成自定义函数的删除。