页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

  • 代表的意思:假设“用于标识新增数据的字段”是 field,上一次抽取时 field 字段的最大值表示为 last_max(field),则本次抽取获取增量数据的过滤条件是 field > last_max(field)
  • 只能选择整型、日期、日期时间类型的字段;只能选择整型、日期、日期时间类型的字段。
  • 只能选择一个字段。

增量入库方式:支持追加、更新与插入;选择追加

配置好之后,可以点击【立即抽取】、”全量覆盖抽取“:配置好之后,点击【确定】,保存数据模型之后,点击增量抽取页面的”立即抽取“:

选项说明
立即抽取

如果是第一次抽取,则会把整个模型都执行全量抽取,如果非第一次抽取,则会根据上一次抽取时UpdateTime字段的最大值为参数默认值进行抽取。

注意:如果是维表进行增量更新,抽取时候会自动更新与它关联的事实表的小宽表,如果与它关联的事实表数据量很大,则抽取时间会相对久一些。

增量抽取,抽取时候会重新生成小宽表,如果与它关联的事实表数据量很大,抽取时间会相对久一些。

如果发现设错了”增量入库方式“或者选择错了“标识更新的字段”,调整之后可以点击【立即覆盖抽取】:

选项说明
立即覆盖抽取即全量抽取,如果其他表/查询没有更改过,只会抽取该表的数据;如果其他表/查询调整了结构也会把调整结构的表都抽取了。

...

2、在参数管理中,创建参数UpdateTime,并映射到“Orders”表:

3、由于"Orders"表的数据很大,并且经常会更新,抽取方式选择“增量抽取”:

Image Removed

增量数据获取方式:按字段筛选、按参数筛选:表的数据很大,并且经常会更新,抽取方式选择“增量抽取”。

增量数据获取方式: SQL查询 类型默认是”按参数筛选“,”按参数筛选“需要填写”用于标识新增数据的参数“、”与参数关联的字段“。

由于刚已经映射了参数“UpdateTime”,所以“用于标识新增数据的参数” 选择“UpdateTime”、”与参数关联的字段“的选择“UpdateTime”字段, 如下图所示:

Image Added


选项说明
按字段筛选当选中的是”数据源表“时,它才是启用状态,当选中的是其他查询是禁用状态。用于标识新增数据的参数:

按参数筛选
用于标识新增数据的参数=
  • 原理:假设“与参数关联的字段”是 field,上一次抽取时 field 字段的最大值表示为 last_max(field),则本次抽取获取增量数据的过滤条件是 field > last_max(field)然后通过“用于标识新增数据的参数”,将上述过滤条件传递到查询中。
  • 只能选择与该表/查询映射的参数,如果没有映射参数,将不能进行增量抽取。
与参数关联的字段:

与参数关联的字段只能选择数值型、日期、日期时间类型的字段。

由于刚已经映射了参数“UpdateTime”,所以“用于标识新增数据的参数” 选择“UpdateTime”、”与参数关联的字段“的选择“UpdateTime”字段, 如下图所示:

Image Removed

选项说明用于判断数据在缓存库中是否存在的主键字段

增量数据入库方式追加原理:本次抽取的增量数据,全部追加到缓存库中。
更新与插入

原理:本次抽取的增量数据,利用“主键字段”逐行判断该行数据在缓存库中是否存在,如果不存在则插入,如果存在则更新。


”用于判断数据在缓存库中是否存在的主键字段“ 选项:

  • 可以选择多个字段作为联合主键
主键字段不能与”参数关联的字段“一样。
  • 主键字段不能与”参数关联的字段“一样,否则无法插入数据。

立即抽取

如果是第一次抽取,则会把整个模型都执行全量抽取,如果非第一次抽取,则会根据上一次抽取时UpdateTime字段的最大值为参数默认值进行抽取。

注意:

如果是维表进行增量更新,抽取时候会自动更新与它关联的事实表的小宽表,如果与它关联的事实表数据量很大,则抽取时间会相对久一些。


立即覆盖抽取
即全量抽取,如果其他表/查询没有更改过,只会抽取该表的数据;如果其他表/查询调整了结构也会把调整结构的表都抽取了。

3、关于增量抽取,需要注意点:

...



1.2 功能简介

满足以下条件的数据表,比较适合使用增量更新

...