ETL的主要应用场景是将多来源的异构数据,进行处理后得到具备完整性、一致性的数据模型,在这个过程中,最重要是数据模型的设计以及工程实施的方法论,ETL工具起辅助作用,用以提高实施效率、保障工程实施的规范化、辅助运维管理。
数据来源有三个,需求进行数据处理后输出一张落地表
1、本地Excel上传,需要进行数值处理
2、虚拟表,不需要落地,用于中间表
3、数据库表
在本地数据源中,将Excel文件中的数据导入到数据库中,数据预览如下:
1、在系统主界面的快捷菜单中选择 数据准备 > 自助ETL,进入“自助ETL”管理界面:
2、在“自助ETL”管理界面中,选择 新建自助ETL 按钮。
3、进入ETL工作流定制界面,可设计定制ETL工作流。
5、
如图所示,通过以上步骤,将3个数据来源的表进行关联处理,最终输出数据到一张新的表中。
第一个数据来源节点:本地Excel导入新增的表
第二个数据来源节点:通过SQL脚本构建供应商信息数据
第三个数据来源节点:Northwind数据源下的供应商表
打开数据源的位置,查看新增的表。