页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 4 下一个 »

(本文档仅供参考)

问题说明

         由于数据库数据量比较大,希望全量抽取后变成增量抽取,要怎么实现呢?

解决方案

         (1)原本的SQL,此时抽取为"全量抽取"(即一次性抽取所有数据),如下图:

 

          (2)添加日期参数,默认值设置为空,具体设置如下:

             (3)修改SQL为:select 字段 from table where {[日期>参数]}   (注:此SQL写好后不能做任何修改,否则会影响时间戳的获取

                     第一次增量抽取时,由于从知识库中找不到上次抽取记录的时间戳所以会进行全力抽取,此时参数设置为空,所以执行的是 select 字段 from table where 1=1,抽取业务库全部数据。

                     后续再进行增量抽取,因知识库中会记录上次抽取的最大日期,则会按照上次的最大日期进行增量更新。例如:本次抽取日期最新是"2022-06-14","2022-06-14"则会存放在知识库中,下次抽取执行的SQL为:select 字段 from table where 字段>2022-06-14 ,从而实现增量抽取。


            (4)抽取日志如下:

示例:【内部】增量抽取场景测试示例

Viewtracker License Missing

There is a problem with the license of the Viewtracker addon. Please check if you have a valid license.

授权码细节

  • 无标签