基于自助ETL快速处理数据

1、示例描述

公司业务人员在对“产品销售数据”收集整理时，发现存在以下问题：

• 订单表数据未更新：由于公司疫情调整，华南、华东地区的仓库暂停发货；原华南订单由华北发货，华东订单由华中发货。
• 订单明细表未去重：在订单明细表中，发现有部分数据重复，将会影响分析结果。
• 数据未排序：为了能直观分析相关业务数据，订单表需按“运费字段”进行降序排序；订单明细表按“销售量字段”进行升序排序。

为了更好地解决上述问题，将通过自助ETL对订单表、订单明细表进行数据预处理！

2、入口

Smartbi侧边栏点击数据准备，打开数据准备界面后选择自助ETL，即可开始新建：

3、选择数据源（输入）

（1）数据源下，分别拖入关系数据源节点至画布区

（2）对关系数据源进行配置：参数中，数据源选择“wiki_test"，表选择”订单表“，列选择全部字段；属性中，节点别名改为”订单表“。

（3）对另一关系数据源进行配置：参数中，数据源选择“wiki_test"，表选择”订单明细表“，列不选择”产品编号“字段；属性中，节点别名改为”订单明细表“。

（4）配置完成后，右键节点，分别执行两节点及查看输出结果

4、数据预处理

接下来按照基于自助ETL快速处理数据，对订单表节点进行”值替换“、”降序“和”增加序列号“处理；对订单明细表进行”去除重复值“、”升序“和”增加序列号“处理。

• 订单表

值替换

（1）拖入”值替换“节点，”订单表“节点下方圆圈，拖出连接线与其连接

（2）对节点进行条件配置：

• 添加配置1：选择字段：区域，处理方式为：值替换，原值为：华南，新值为：华北；
• 添加配置2：选择字段：区域，处理方式为：值替换，原值为：华东，新值为：华中；

（3）配置完成后，右键节点，执行节点及查看输出结果

增加序列号

（1）拖入”增加序列号“节点，”值替换“节点下方圆圈，拖出连接线与其连接

（2）右键节点，执行节点及查看输出结果

• 订单明细表

去除重复值

（1）拖入”去除重复值“节点，”订单明细表“节点下方圆圈，拖出连接线与其连接

（2）选择列：”订单编号“进行去重处理

（3）右键节点，执行节点及查看输出结果