页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

自助ETL的主要应用场景是将多来源的异构数据,进行处理后得到具备完整性、一致性的数据模型。使用自助ETL可以提高数据的质量、适应不同的数据分析方法。

需求场景

想要将三个数据来源的表关联到一起并处理一些表中的数据,处理完成后的数据输出到一张新的表中。在进行销售分析之前

实现方案

数据基础

在本地数据源中,将Excel文件中的数据导入到数据库中,详情请参考 文件,数据预览如下:Image Added

Image Removed

操作步骤

1、在系统主界面的快捷菜单中选择 数据准备 > 自助ETL,进入“自助ETL”管理界面:

2、在“自助ETL”管理界面中,选择 新建自助ETL 按钮,进入“新建ETL”定制界面。

3、在此界面可以设计定制ETL工作流。

数据源

1、将关系数据源节点拖入画布区。在节点配置区设置关系数据源的参数,选择刚才导入的Excel表的关系数据源、SCHEMA、表名

2、在关系数据源上右键选择 执行到此处 ,运行当前节点。

3、点击查看输出,可查看表的数据。

Image Removed

4、关系数据源节点输出的数据如下:3、点击查看输出,可查看关系数据源节点输出的数据,如下:

将表的数据导入当前工作流完成,下面对数据进行 数据预处理 

数据预处理

去除销售额字段的小数位,并新建一个字段同时包含了产品大类名称和产品名称。目标:去除销售额字段的小数位,并新建一个字段同时包含了产品大类名称和产品名称。

1、将派生列节点拖入画布区,连接两个节点。在节点配置区选择 派生列配置 按钮。

2、选择函数和字段,拖入添加2、选择函数和字段分别拖入添加/编辑表达式区,点击 确定 按钮,添加一条派生列,销售额的设置完成。

3、再添加一条派生列“产品”,点击 确定 按钮。

4、在空值处理节点上右键,选择 执行到此处  ,运行当前节点派生列节点输出的数据如下:

数据预处理完成,下面将处理好的数据输出。

目标源

将处理好的数据输出成一张新的表。

1、将关系目标源家待拖入画布区,选择输出表的数据源、SCHEMA,并选择 新建表 按钮。

Image RemovedImage Added

2、新的表命名为“产品销售数据表”,点击 创建表 按钮。

3、点击 运行 按钮,创建一张新的表。

Image RemovedImage Added

流程运行完成后,在关系目标源上右键,选择 执行到此处 ,关系目标源节点输出的数据如下:

打开数据源的位置,预览“产品销售数据表”表中的数据如图:

面板
borderColor#BBBBBB
bgColor#F0F0F0
borderWidth1
borderStylesolid

目录