页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

概述1 概述

   读取文件数据主要有以下方式:

  • 使用Excel导入模型:要根据模板导入,并且一次只能导入一个文件
  • 数据源/ 加载文件数据: 一次只能导入一个文件
  • ETL的”FTP数据源"节点: 一次只能读取一个文件

支持一次性批量读取多个excel文件数据并且合并成大宽表存储到指定表中,业务人员无需重复导入,提高了其工作效率。

2 场景举例

    零售行业,店面可能分布在不同的国家、城市里,每个店面每个月都会生成一份Execl文件数据,到了月底客户把所有店面的文件收集起来,统一存放在一个文件夹中;

...

1、准备ftp文件

先把excel、csv文件上传到ftp,如下图:

Image RemovedImage Added

所有的文件内容格式要一致:

由于Foreach循环器只是读取文件的名称FileName和sheetName,真正要读取ftp数据是通过ETL节点“FTP数据源”,所以先要建立ETL资源

...

处理、加工数据、并且存储到指定表:

保存ETL资源并命名:hxy-2-文件。

...

3、在作业流中使用“Foreach 循环器

在作业流中拖入“Foreach循环器”节点,选择“Foreach FTP文件枚举器”

...

配置好之后,点击【确定】,运行节点,运行成功之后,可以查看到数据已经到了表中,如下图:

...

4、做可视化报表基于目标表建立数据模型,如下图:

基于目标表建立数据模型,具体可参考创建数据模型步骤,创建的数据模型如下:

再基于该数据模型建立可视化分析:

再基于该数据模型建立仪表盘,最终效果如下:

3、场景举例

      读取具体区间范围的数据;使用“Foreach Item 枚举器”实现

...