1 背景
若数据库中有一张表,每天都会新增数据,这时候用户可以使用 增量抽取,只将每天新增的数据更新到 Smartbi MPP 表,。这样就不需要更新整张数据表,节省了更新时间和更新资源。
1.1 功能简介
增量抽取,提供了 “追加”、“更新与插入”2种方式:
1、追加:每次抽取,根据“用于标识新增数据的字段”判断数据库中的数据是否为新增数据,对数据库的新增数据进行抽取,并追加在MPP数据库中,如下图所示:
2、更新与插入:每次抽取,根据“用于判断数据在缓存库中是否存在的主键字段”逐行判断该行数据在缓存库中是否存在,如果不存在则插入,如果存在则更新。,如下图所示:
1.2 功能简介
满足以下条件的数据表,比较适合使用增量更新
表内有「时间戳」字段,可用来和「更新时间」做对比实现增量更新
历史数据不会变动
增量更新的表常用于频繁更新且数据量比较大的表。若是单表的数据量比较小,或者一个月才更新一回,那使用全量更新也没问题。