页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

数据模型共有9种查询,其中 导入文件生成日期表ETL高级查询 不支持增量抽取。

产品自带数据源northwind数据库下的“orders”表、“OrderDetail”为例来进行说明。

为了更好的说明增量抽取的原理,在"orders"源表中,增加一列“UpdateTime”,如下图:

Image Modified

具体的操作步骤如下:

1、创建数据模型并在数据模型加入"ordersDetail"表,以及通过SQL查询来筛选大于2024-01-01的订单信息,创建的模型如下:

Image Modified

2、在参数管理中,创建参数UpdateTime,并映射到“Orders”表:

Image Modified

3、由于"Orders"表的数据很大,并且经常会更新比如调整收获地址等,所以需要设置入库方式为“更新与插入”:

Image Modified

选中”增量抽取“,增量数据获取方式:按字段筛选、按参数筛选:

选项说明
按字段筛选
  • 当选中的是”数据源表“时,它才是启用状态,当选中的是其他查询是禁用状态。
按参数筛选


用于标识新增数据的参数:

  • 原理:假设“与参数关联的字段”是 field,上一次抽取时 field 字段的最大值表示为 last_max(field),则本次抽取获取增量数据的过滤条件是 field > last_max(field)然后通过“用于标识新增数据的参数”,将上述过滤条件传递到查询中。
  • 只能选择与之映射的参数,如果没有映射参数,将不能进行增量抽取。
与参数关联的字段:
只能选择数值型、日期、日期时间类型的字段。

由于刚已经映射了参数“UpdateTime”,所以“用于标识新增数据的参数” 选择“UpdateTime”、”与参数关联的字段“的选择“UpdateTime”字段, 如下图所示:




3、关于增量抽取,需要注意点:

  • 不支持增量更新的表或查询:导入文件、生成日期表、ETL高级查询。
  • 其中“数据源表”的”增量获取方式“只支持“按字段筛选”,

...