...
| 信息 |
|---|
1、增量抽取只在数据模型引擎V2.0上生效。 2、目前增量抽取支持的缓存库：SmartbiMpp产品默认使用高速缓存库CH、StarRocks、SmartbiMppMD产品exe安装包自带高速缓存库，正在持续继续完善。 3、导入文件、生成日期表、ETL高级查询不支持增量抽取。不支持增量抽取；增量抽取是针对数据模型的单个表或查询进行设置的。 |
1.1 增量抽取适用场景
增量抽取常用于频繁更新且数据量比较大的表。
...
- 历史数据不会变动 --入库方式可以使用”追加“。
- 表内有“时间戳”字段，可用来和"更新时间"做对比实现增量更新,--入库方式可以使用”更新与插入“。
2 示例介绍
数据模型共有9种查询，其中 导入文件、生成日期表、ETL高级查询 不支持增量抽取。
...
2.1 增量数据入库方式-追加示例
- 追加：每次抽取，根据“用于标识新增数据的字段”判断数据库中的数据是否为新增数据，对数据库的新增数据进行抽取，并追加在MPP数据库中，如下图所示：
...
