...
数据模型共有9种查询,其中 导入文件、生成日期表、ETL高级查询 不支持增量抽取。
以产品自带数据源northwind数据库下的“orders”表、“OrderDetail”为例来进行说明。
为了更好的说明增量抽取的原理,在"orders"源表中,增加一列“UpdateTime”,如下图:
具体的操作步骤如下:
1、创建数据模型并在数据模型加入"ordersDetail"表,以及通过SQL查询来筛选大于2024-01-01的订单信息,创建的模型如下:
2、在参数管理中,创建参数UpdateTime,并映射到“Orders”表:
3、由于"Orders"表的数据很大,并且经常会更新比如调整收获地址等,所以需要设置入库方式为“更新与插入”:
选中”增量抽取“,增量数据获取方式:按字段筛选、按参数筛选:
选项 | 说明 |
---|---|
按字段筛选 |
|
按参数筛选 | |
用于标识新增数据的参数:
| |
与参数关联的字段: 只能选择数值型、日期、日期时间类型的字段。 |
由于刚已经映射了参数“UpdateTime”,所以“用于标识新增数据的参数” 选择“UpdateTime”、”与参数关联的字段“的选择“UpdateTime”字段, 如下图所示:
3、关于增量抽取,需要注意点:
- 不支持增量更新的表或查询:导入文件、生成日期表、ETL高级查询。
- 其中“数据源表”的”增量获取方式“只支持“按字段筛选”,
...