ETL的主要应用场景是将多来源的异构数据,进行处理后得到具备完整性、一致性的数据模型,在这个过程中,最重要是数据模型的设计以及工程实施的方法论,ETL工具起辅助作用,用以提高实施效率、保障工程实施的规范化、辅助运维管理。

需求场景

数据来源有三个,需求进行数据处理后输出一张落地表

1、本地Excel上传,需要进行数值处理

2、虚拟表,不需要落地,用于中间表

3、数据库表

实现方案

操作流程

 

数据基础

在本地数据源中,将Excel文件中的数据导入到数据库中,数据预览如下:

操作步骤

1、在系统主界面的快捷菜单中选择 数据准备 > 自助ETL,进入“自助ETL”管理界面:

2、在“自助ETL”管理界面中,选择 新建自助ETL 按钮。

3、进入ETL工作流定制界面,可设计定制ETL工作流。

5、

 

 

 

 

 

如图所示,通过以上步骤,将3个数据来源的表进行关联处理,最终输出数据到一张新的表中。

第一个数据来源节点:本地Excel导入新增的表

第二个数据来源节点:通过SQL脚本构建供应商信息数据

第三个数据来源节点:Northwind数据源下的供应商表

打开数据源的位置,查看新增的表。