基于自助ETL快速处理数据

1、示例描述

公司业务人员在对“产品销售数据”收集整理时，发现存在以下问题：

• 订单表数据未更新：由于公司疫情调整，华南、华东地区的仓库暂停发货；原华南订单由华北发货，华东订单由华中发货。
• 订单明细表未去重：在订单明细表中，发现有部分数据重复，将会影响分析结果。
• 数据未排序：为了能直观分析相关业务数据，订单表需按“运费字段”进行降序排序；订单明细表按“销售量字段”进行升序排序。

为了更好地解决上述问题，将通过自助ETL对订单表、订单明细表进行数据预处理！

2、入口

Smartbi侧边栏点击数据准备，打开数据准备界面后选择自助ETL，即可开始新建：

3、选择数据源（输入）

（1）数据源下，分别拖入关系数据源节点至画布区

（2）对关系数据源进行配置：参数中，数据源选择“wiki_test"，表选择”订单表“，列选择全部字段；属性中，节点别名改为”订单表“。

（3）对另一关系数据源进行配置：参数中，数据源选择“wiki_test"，表选择”订单明细表“，列不选择”产品编号“字段；属性中，节点别名改为”订单明细表“。

（4）配置完成后，右键节点，分别执行”订单表“、”订单明细表“两节点

4、数据预处理

接下来按照基于自助ETL快速处理数据，对订单表节点进行”值替换“、”降序“和”增加序列号“处理；对订单明细表进行”去除重复值“、”升序“和”增加序列号“处理。

• 订单表