智能数据构建与管理 Dataphin 配置自定义任务参数

By | 2021年4月23日

本文为您介绍如何配置自定义任务参数,防止系统分配资源时出现不合理的现象。

背景信息

自定义任务参数用于指定计算引擎的某些参数,避免由于企业的计算引擎特异性导致的引擎适配问题,同时提高了逻辑表任务的效率。

操作步骤

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 在Dataphin首页的顶部菜单栏,单击管理中心
  4. 管理中心页面,单击左侧导航栏中的智能引擎
  5. 智能引擎页面,单击自定义任务参数页签。
  6. 根据自定义任务参数页面提示,配置参数。
    gfaa

    参数 描述
    自定义参数生效 选择自定义任务参数需要开启还是关闭
    自定义参数配置 配置自定义任务参数,参数需要与Dataphin系统绑定的计算引擎源的特性一致,示例如下。

    set odps.sql.mapper.cpu=100
    set odps.sql.mapper.split.size=256
    set odps.sql.reducer.cpu=100
    set odps.sql.joiner.cpu=100
    说明 自定义参数配置采用优先级策略,任务节点的物理化配置较智能引擎的自定义任务参数优先级高。

  7. 参数配置完后,单击确定
  8. 在确认对话框中,单击确定,完成自定义任务参数的配置。
    您也可以恢复计算引擎的默认值,在
    自定义任务参数页面,单击
    恢复默认值。在确认对话框中,单击
    确定,完成计算引擎的默认值的恢复。

请关注公众号获取更多资料

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注