1 概述1 概述
读取文件数据主要有以下方式:
- 使用Excel导入模型:要根据模板导入,并且一次只能导入一个文件
- 数据源/ 加载文件数据: 一次只能导入一个文件
- ETL的”FTP数据源"节点: 一次只能读取一个文件
支持一次性批量读取多个excel文件数据并且合并成大宽表存储到指定表中,业务人员无需重复导入,提高了其工作效率。
2 场景举例
零售行业,店面可能分布在不同的国家、城市里,每个店面每个月都会生成一份Execl文件数据,到了月底客户把所有店面的文件收集起来,统一存放在一个文件夹中;
...
1、准备ftp文件
先把excel、csv文件上传到ftp,如下图:
所有的文件内容格式要一致:
由于Foreach循环器只是读取文件的名称FileName和sheetName,真正要读取ftp数据是通过ETL节点“FTP数据源”,所以先要建立ETL资源
...
处理、加工数据、并且存储到指定表:
保存ETL资源并命名:hxy-2-文件。
...
3、在作业流中使用“Foreach 循环器”
在作业流中拖入“Foreach循环器”节点,选择“Foreach FTP文件枚举器”
...
配置好之后,点击【确定】,运行节点,运行成功之后,可以查看到数据已经到了表中,如下图:
...
4、做可视化报表基于目标表建立数据模型,如下图:
基于目标表建立数据模型,具体可参考创建数据模型步骤,创建的数据模型如下:
再基于该数据模型建立可视化分析:
再基于该数据模型建立仪表盘,最终效果如下:
3、场景举例
读取具体区间范围的数据;使用“Foreach Item 枚举器”实现
...