页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

注意
title注意

这里必须配置”回退SQL语句“的原因:

  • 我们的ETL很多时候通常会重复执行。比如执行过程中报错,我们修复错误后,需要重新执行。或者发现很早以前某天的历史数据错误,需要单独重跑这天的数据。
  • 因为我们选择的是”追加到关系表“节点,从前面节点来的数据都会追加到目标表中,如果某天数据抽取了两次,就会让目标表中数据重复、增多了。因此我们通过”回退SQL语句“,先把当前正抽取的这天的数据删除,然后再插入,就避免数据重复的可能性了。
  • 背后的执行过程是:先在目标表上执行 DELETE FROM `table_name` WHERE `销售日期` = ${抽取日期}  语句,然后再执行数据插入操作。 

4. 作业流中配置增量抽取

啊啊啊接下来我们需要让配置的ETL,每天定时自动运行,自动抽取前一日数据。详细过程说明如下。

4.1 定义系统公共参数

  • 为了获取“前一日”这样的动态日期值,我们使用 Smartbi 中的公共参数来做。进入“运维设置 → 全局资源定义 → 参数定义”界面,新建一个“参数”。

Image Added

  • 选择与 ETL 中定义的参数对应的“数据类型”。这里的“控件类型”通常选择“下拉框”,以便返回多个值,用于在作业流中枚举它。

Image Added

  • 定义参数的”备选值“。如果只需要获取“前一日”这样的单个的动态日期值,可以参考下图中的写法。

Image Added

  • 而如果需要获取”最近7日“这样的多个动态日期值,则可以参考下图中的写法。

Image Added

Image Added


1. 概述

1. 概述

1. 概述

...