页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

1 背景

若数据库中有一张表,每天都会新增数据,这时候用户可以使用 增量抽取,只将每天新增的数据更新到 Smartbi MPP 表,。这样就不需要更新整张数据表,节省了更新时间和更新资源。

1.1 功能简介

  增量抽取,提供了 “追加”、“更新与插入”2种方式:

  Image Added

1、追加:每次抽取,根据“用于标识新增数据的字段”判断数据库中的数据是否为新增数据,对数据库的新增数据进行抽取,并追加在MPP数据库中,如下图所示:

Image Added

1、更新与插入:每次抽取,根据“用于标识新增数据的字段”判断数据库中的数据是否为新增数据,对数据库的新增数据进行抽取,并追加在MPP数据库中,如下图所示:


1.2 功能简介

满足以下条件的数据表,比较适合使用增量更新

  • 表内有「时间戳」字段,可用来和「更新时间」做对比实现增量更新

  • 历史数据不会变动

增量更新的表常用于频繁更新且数据量比较大的表。若是单表的数据量比较小,或者一个月才更新一回,那使用全量更新也没问题。

1.3 注意事项

  • 不支持增量更新的表:服务器数据集做了行列转换或自循环列的基础表Excel数据集自助数据集。(Excel 数据集不能增量更新,只能追加上传,详情请参见 追加上传 。)

  • 必须进行一次 全量更新 后才可以做增量更新,且增量语句不可以为空。

  • 全量更新为将数据库中所有数据覆盖至 BI 数据表中,增量更新更新数据则取决于 SQL 语句。