...

• 按字段筛选:当选中的是”数据源表“时，它才是启用状态，当选中的是其他查询是禁用状态。
• 当选中的是按参数筛选：当选中的是SQL查询、存储过程查询、java查询、可视化SQL查询、脚本查询，它是启用状态；当选中”数据源表“时，它才是禁用状态“时，它是禁用状态

当前”orderDetails“表是数据源表的类型，所以”增量数据获取方式“是”按字段筛选“，需要选择”用于标识新增数据的字段“：

• 代表的意思：假设“用于标识新增数据的字段”是 field，上一次抽取时 field 字段的最大值表示为 last_max(field)，则本次抽取获取增量数据的过滤条件是 field > last_max(field)。
• 只能选择整型、日期、日期时间类型的字段。只能选择一个字段。
• 只能选择一个字段。当前场景选择”OrderID“字段：Image Added。

增量入库方式：支持追加、更新与插入；选择追加。

3、配置好之后，点击【确定】，保存数据模型之后，点击增量抽取页面的”立即抽取“，查看抽取日志，可以看到第一次是全量抽取：

...

...

6、再次点击【立即抽取】按钮，抽取成功之后，查看日志，可以看到是增量抽取：

注意：增量更新，抽取时会自动更新与它关联的事实表的小宽表，如果与它关联的事实表数据量很大，则抽取时间会相对久一些。增量更新时，如果与之关联的是事实表，系统会自动更新相关联的事实表中的小宽表。如果关联的事实表数据量较大，抽取时间可能会相对较长。

7、去创建即席查询，可以查看到刚新增与更新的记录：

...

3 注意事项

目前增量抽取还支持的场景：覆盖多少天目前增量抽取还没有支持的场景：覆盖多少天/季度等，即每次抽取，根据日期及滚动周期将数据库中的新增以及部分历史数据抽取到MPP数据库中，其中历史数据将会覆盖原数据。每次抽取，根据日期及滚动周期将数据库中新增以及部分历史数据抽取到MPP数据库中，其中历史数据将会覆盖原数据。

4 数据抽取耗时对比

硬件配置: 内存8G，CPU8核；测试数据库: MySQL 8.0

数据模型如下图：

...

4.1【orders】入库方式"追加"

场景1：在[orders]表中，初始数据量为1000w，分别增量“追加”100w、500w性能情况：

...

...

4.2【orders】入库方式"更新与插入"

场景1：在[orders]表中，初始数据量为1000w，分别增量”更新与插入“100w、500w性能情况：

场景4：在场景2：在[orders]表中，初始数据量为1亿，分别增量”更新与插入“100w、500w性能情况：

...