页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

4.1.3 查询动态抽取(原:按次抽取)

警告
title重要变更

 查询动态抽取 查询动态抽取(原:按次抽取原:按次抽取),在V11 数据模型引擎V2.0上优化了抽取逻辑,主要优化了:

  • 支持设定动态有效期(默认30分钟):在运维设置/系统设置/高级选项:DATAMODEL_DYNAMIC_IMPORT_EXPIRED进行设置;如果超过了设置的时间,会自动清理旧表。
  • 报表刷新时,系统将自动触发重新抽取;
  • 相同权限的用户间,抽取结果共享,减少重复抽取,减少资源消耗。

...

  • 如果是第一次切换的参数值,会从底层数据库取数,会触发抽取;如果后面再切换回原来的参数值,不会重新取数,而是取缓存的数据。
  • 如果有新的数据进来,可以退出账号重新登录再查看或者清空缓存。 


4.1.4  分区设置

信息

1、抽取的分区设置目前支持的MPP库:只有SmartbiMpp产品默认使用高速缓存库CHStarRocks

4.1.5 抽取设置介绍

信息
title前置条件

抽取的整体逻辑简单介绍:

  • 先把数据模型每个查询的数据写入到CSV文件。
  • 再把CSV文件导入到MPP对应的临时表中。
  • 等把所有的查询都数据“拷贝”到MPP中后,再把MPP中每个查询的数据导入到大宽表中(根据模型基数关系生成的大宽表),其中引擎V2.0是生成小宽表,;如果其中一个查询“导入”数据失败,抽取就算失败。

...

选项
抽取并建宽表适用于手动抽取的任意场景,比如模型的某个字段数据类型改了,别名改了,关系修改了,增加了某个字段等等,点击“抽取并建宽表”都会把整个模型的查询全部重抽并重新生成大宽表。 
单个查询的抽取
  1. 如果模型从来没有抽取过,点击单个查询的抽取,模型仍会运行【抽取并建宽表】的逻辑,因为这时只抽单个查询没有意义,在报表层会报错。
  2. 如果模型的某个查询变动过,比如修改了基数关系或者增加了字段等,你选中其中一个查询进行抽取,也会把已修改的所有查询给抽了,并且更新大宽表。
  3. 如果你很明确只是修改了这个查询,比如只针对这个查询更改了字段别名,那么就可以直接重新抽取这个查询的数并更新大宽表,节省等待时间。
  4. 在模型中 导入文件,因为本身已经导入到MPP中了,所以无需设置抽取方式。
更新宽表

如果模型里面的所有查询都没有任何调整,只是基数更改了,那么可以直接用更新宽表的方式减少抽取时间。

抽取参数值
  • 入口:
  • 默认值:如果在参数设置映射了查询的参数,那么默认值以参数设置的为准;
  • 自定义: 如果想快速的更改参数默认值,可以直接自定义默认值;抽取时是以自定义的默认值进行抽取。


抽取计划
抽取计划
4.1.

...

6 抽取计划

信息

1、只要是抽取的模型,第一次保存之后都会自动生成计划任务,默认是停止状态。

2、在数据模型上点击”抽取并建宽表“不走抽取计划进行抽取。

...

2、设置好查询的抽取方式以及抽取参数值,如果想定时更新模型的数据,那么可以使用计划任务进行抽取, 详参:计划任务


4.1.

...

7 抽取日志

用户查看抽取日志:

  • 可以更好的判断模型是否已经抽取成功。
  • 如果模型抽取失败可以在抽取日志中查看抽取失败的原因。

...