智能数据构建与管理 Dataphin 步骤二：创建数据表

By | 2021年4月23日
0 Comment

文为您介绍如何创建本教程中的业务数据表。

背景信息

通常，您的业务数据需采用创建同步任务或管道任务的方式，导入至Dataphin平台，以构建智能数据。本教程为了让您快速熟悉智能数据构建并管理的流程，采用代码任务的方式构建业务数据。

本教程中的数据表包括开发环境的数据表（s_store、s_customer和s_store_sales）和生产环境的数据表（dqe_demo.s_store、dqe_demo.s_customer和dqe_demo.s_store_sales）。

其中，
s_store和
dqe_demo.s_store、
s_customer和
dqe_demo.s_customer、
s_store_sales和
dqe_demo.s_store_sales的结构相同：

  • 店铺维度的数据表（s_store和dqe_demo.s_store）。
    字段 类型
    s_store_sk bigint
    s_store_id string
    s_rec_start_date string
    s_rec_end_date string
  • 客户维度的数据表（s_customer和dqe_demo.s_customer）。
    字段 类型
    c_customer_sk bigint
    c_customer_id string
    c_current_cdemo_sk bigint
    c_current_hdemo_sk bigint
  • 事实数据表（s_store_sales和dqe_demo.s_store_sales）。
    字段 类型
    ss_sold_date_sk bigint
    ss_sold_time_sk bigint
    ss_customer_sk bigint
    ss_addr_sk bigint
    ss_store_sk bigint

步骤一：创建生产环境的数据表

  1. 登录Dataphin控制台。
  2. 在Dataphin控制台页面，选择工作区地域后，单击进入Dataphin>>。
  3. 进入离线计算任务页面。
    1. 在Dataphin首页，单击顶部菜单栏的研发。
    2. 在数据开发页面，单击项目名称后的test图标，在Dev页签下选择dqe_demo_dev项目。
      如果您当前访问的是
      dqe_demo_dev项目，则无需再次选择项目。
    3. 在数据开发页面，单击数据处理。
      如果进入数据
      开发页面后，系统默认进入
      数据处理页签，则无需再次单击
      数据处理页签。
    4. 在数据处理页签，单击即席查询。
  4. 在即席查询页签，单击fagag图标。
  5. 在新建文件对话框，配置参数。
    参数 描述
    名称 输入表的名称为建表。
    描述 输入生产环境数据表。
    选择目录 默认为临时代码。
  6. 单击确定。
  7. 在代码编写页面，编写建表及向表中写入数据的SQL语句。 
    --创建数据表dqe_demo.s_store。
CREATE TABLE IF NOT EXISTS dqe_demo.s_store
 (
  s_store_sk bigint ,
  s_store_id string ,
  s_rec_start_date string ,
  s_rec_end_date string
)
PARTITIONED BY (
  `ds` STRING
);
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10001,'c0001','20200618','20200619');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10002,'c0002','20200519','20200520');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10003,'c0003','20200520','20200521');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10004,'c0004','20200519','20200520');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10005,'c0005','20200517','20200518');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10005,'c0005','20200515','20200520');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10007,'c0007','20200515','20200519');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10008,'c0008','20200514','20200518');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(10009,'c0009','20200515','20200517');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(100010,'c00010','20200513','20200516');
insert into table dqe_demo.s_store partition (ds ='${bizdate}') values(100011,'c00011','20200519','20200516');

--创建数据表dqe_demo.s_store_sales。
CREATE TABLE IF NOT EXISTS dqe_demo.s_store_sales
 (
  ss_sold_date_sk  bigint ,
  ss_sales_price bigint ,
  ss_customer_sk  bigint ,
  ss_list_price  bigint ,
  ss_store_sk  bigint
)
PARTITIONED BY (
  `ds` STRING
);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11121,65,11121,65,10001);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11121,78,11121,70,10001);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11111,65,11161,62,10001);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11121,78,11161,72,20004);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11161,65,11161,58,20004);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11161,78,11161,75,10003);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11161,65,11121,55,10003);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11181,78,11181,68,10003);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11181,65,11181,60,20004);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11181,78,11181,70,20004);
insert into table dqe_demo.s_store_sales partition (ds ='${bizdate}') values(11181,65,11181,60,20004);

--创建数据表dqe_demo.s_customer。
CREATE TABLE IF NOT EXISTS dqe_demo.s_customer
 (
  c_customer_sk  bigint ,
  c_customer_id string ,
  c_current_cdemo_sk  bigint ,
  c_current_hdemo_sk  bigint
)
PARTITIONED BY (
  `ds` STRING
);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11121,'c0001',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11121,'c0002',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11111,'c0003',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11121,'c0004',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11161,'c0005',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11161,'c0006',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11161,'c0007',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11181,'c0009',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
insert into table dqe_demo.s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);

  8. 单击页面右上方的执行，执行编写的建表语句。
  9. 单击页面右上方的geaga图标，保存即席查询。

步骤二：创建开发环境数据表（s_store）

  1. 单击图标后，选择MAX_COMPUTE_SQL。
  2. 在新建文件对话框，配置参数。
    参数 描述
    名称 输入表的名称为s_store。
    调度类型 选择手动节点。
    描述 输入店铺维度。
    选择目录 选择代码管理。
  3. 单击确定。
  4. 在代码编写页面，编写建表及向表中写入数据的SQL语句。 
    CREATE TABLE IF NOT EXISTS `s_store`
 (
  s_store_sk bigint ,
  s_store_id string ,
  s_rec_start_date string ,
  s_rec_end_date string
)
PARTITIONED BY (
  `ds` STRING
);
insert into table s_store partition (ds ='${bizdate}') values(10001,'c0001','20200618','20200619');
insert into table s_store partition (ds ='${bizdate}') values(10002,'c0002','20200519','20200520');
insert into table s_store partition (ds ='${bizdate}') values(10003,'c0003','20200520','20200521');
insert into table s_store partition (ds ='${bizdate}') values(10004,'c0004','20200519','20200520');
insert into table s_store partition (ds ='${bizdate}') values(10005,'c0005','20200517','20200518');
insert into table s_store partition (ds ='${bizdate}') values(10005,'c0005','20200515','20200520');
insert into table s_store partition (ds ='${bizdate}') values(10007,'c0007','20200515','20200519');
insert into table s_store partition (ds ='${bizdate}') values(10008,'c0008','20200514','20200518');
insert into table s_store partition (ds ='${bizdate}') values(10009,'c0009','20200515','20200517');
insert into table s_store partition (ds ='${bizdate}') values(100010,'c00010','20200513','20200516');
insert into table s_store partition (ds ='${bizdate}') values(100011,'c00011','20200519','20200516');

  5. 单击页面右上方的执行，执行编写的建表语句。
  6. 单击页面右上的fagag图标，完成数据表（s_store）的保存。
  7. 提交数据表（s_store）。
    1. 单击页面右上方的fagag图标。
    2. 在提交备注对话框，输入备注信息。
    3. 单击确定并提交。

步骤三：创建开发环境数据表（s_customer）

  1. 单击图标后，选择MAX_COMPUTE_SQL。
  2. 在新建文件对话框，配置参数。
    参数 描述
    名称 输入表的名称为s_customer。
    调度类型 选择手动节点。
    描述 输入顾客维度。
    选择目录 选择代码管理。
  3. 单击确定。
  4. 在代码编写页面，编写建表及向表中写入数据的SQL语句。 
    CREATE TABLE IF NOT EXISTS `s_customer`
 (
  c_customer_sk  bigint ,
  c_customer_id string ,
  c_current_cdemo_sk  bigint ,
  c_current_hdemo_sk  bigint
)
PARTITIONED BY (
  `ds` STRING
);
insert into table s_customer partition (ds ='${bizdate}') values(11121,'c0001',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11121,'c0002',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11111,'c0003',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11121,'c0004',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11161,'c0005',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11161,'c0006',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11161,'c0007',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11181,'c0009',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);
insert into table s_customer partition (ds ='${bizdate}') values(11181,'c0008',10004,20004);

  5. 单击页面右上方的执行，执行编写的建表语句。
  6. 单击页面右上的fagag图标，完成数据表（s_customer）的保存。
  7. 提交数据表（s_customer）。
    1. 单击页面右上方的fagag图标。
    2. 在提交备注对话框，输入备注信息。
    3. 单击确定并提交。

步骤四：创建开发环境数据表（s_store_sales）

  1. 单击图标后，选择MAX_COMPUTE_SQL。
  2. 在新建文件对话框，配置参数。
    参数 描述
    名称 输入表的名称为s_store_sales。
    调度类型 选择手动节点。
    描述 输入销售数据。
    选择目录 选择代码管理。
  3. 单击确定。
  4. 在代码编写页面，编写建表及向表中写入数据的SQL语句。 
    CREATE TABLE IF NOT EXISTS `s_store_sales`
 (
  ss_sold_date_sk  bigint ,
  ss_sales_price bigint ,
  ss_customer_sk  bigint ,
  ss_list_price  bigint ,
  ss_store_sk  bigint
)
PARTITIONED BY (
  `ds` STRING
);
insert into table s_store_sales partition (ds ='${bizdate}') values(11121,65,11121,65,10001);
insert into table s_store_sales partition (ds ='${bizdate}') values(11121,78,11121,70,10001);
insert into table s_store_sales partition (ds ='${bizdate}') values(11111,65,11161,62,10001);
insert into table s_store_sales partition (ds ='${bizdate}') values(11121,78,11161,72,20004);
insert into table s_store_sales partition (ds ='${bizdate}') values(11161,65,11161,58,20004);
insert into table s_store_sales partition (ds ='${bizdate}') values(11161,78,11161,75,10003);
insert into table s_store_sales partition (ds ='${bizdate}') values(11161,65,11121,55,10003);
insert into table s_store_sales partition (ds ='${bizdate}') values(11181,78,11181,68,10003);
insert into table s_store_sales partition (ds ='${bizdate}') values(11181,65,11181,60,20004);
insert into table s_store_sales partition (ds ='${bizdate}') values(11181,78,11181,70,20004);
insert into table s_store_sales partition (ds ='${bizdate}') values(11181,65,11181,60,20004);

  5. 单击页面右上方的执行，执行编写的建表语句。
  6. 单击页面右上的fagag图标，完成表的保存。
  7. 提交数据表（s_store_sales）。
    1. 单击页面右上方的fagag图标。
    2. 在提交备注对话框，输入备注信息。
    3. 单击确定并提交。

请关注公众号获取更多资料

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注