页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。


目录

抽取设置是当数据模型的连接方式为”抽取Image Removed“时,需要分别所有私有查询的抽取进行设置的内容。

连接模式类型

Image Removed数据模型的数据连接模式有两种:私有查询支持三种抽取方式,不同的抽取方式设置项有区别:

  • 直连:连接到业务库,直接从业务库中取数。
全量抽取
  • 抽取:连接到高速缓存库,从缓存库中取数;抽取模式可以保证秒级获取大级别量的数据结果,提高系统性能。
全量抽取表示把数据全部抽取。

连接模式选择入口

Image Removed在数据模型的“表关系区”右上角含有连接模式切换键:连接模式的选中状态以蓝底显示。全量抽取各设置项说明如下:

Image Added

设置项

连接模式选择原则

说明
类型
基本设置
原则
  • 勾选清空数据:清空缓存数据并重新抽取。
  • 不勾除清空数据:保留每次抽取的数据记录,并再次抽取所有数据。
抽取表设置

抽取表设置后台提高抽取性能的一项设置,可以通过选择”分区字段“和”分区类型“来确定分批抽取的标准。

“分区字段”和“分区类型”设置项用于设置集群的数据抽取,若未选择时间字段,则不使用Smartbiampp集群建表。

“分区字段”要求为日期类型的。

1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。

2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。

抽取参数值
  • 默认:表示按照参数的默认值抽取。
  • 自定义:表示按照用户自定义的参数值抽取

增量抽取按时间戳

增量抽取表示只抽取新增的数据:增量通过时间戳来进行判断,根据设定的时间字段和参数来匹配出增量的数据进行抽取。

Image Removed

增量抽取各设置项说明如下:

设置项

说明

基本设置
  • 增量时间字段:用于选择表示时间的字段。
  • 增量时间格式:用于设置时间格式与抽取目标表的时间格式保持一致,保证抽取时能匹配上。
  • 增量时间参数:用于选择时间参数,实现将时间参数值传给时间字段。
抽取表设置

抽取表设置后台提高抽取性能的一项设置,可以通过选择”分区字段“和”分区类型“来确定分批抽取的标准。

“分区字段”和“分区类型”设置项用于设置集群的数据抽取,若未选择时间字段,则不使用Smartbiampp集群建表。

“分区字段”要求为日期类型的。

1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。

2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。

抽取参数值
  • 默认:表示按照参数的默认值抽取。
  • 自定义:表示按照用户自定义的参数值抽取

按次抽取

按次抽取是根据用户的登录状态进行抽取,用户每次登录都会重新生成Session后抽取一次数据。当用户刷新、预览、浏览报表时,根据Session抽取数据到高速缓存库中,退出系统时注销Session并删除高速缓存库中的临时表数据。

使用场景:监控类的场景。例如安保监控大厅需要及时查询更新信息,但是全量或增量抽取比较消耗系统性能,可选择按次抽取方式。

Image Removed
直连
  • 数据模型中仅含SQL查询,当点击保存后,若检测到连接的数据库允许该SQL查询作为子查询,则允许直连模式
  • 数据模型中的数据源表SQL查询即席查询,若来源于相同的数据源,则可以选择直连模式
抽取
  • 数据模型中只要有ETL高级查询存储过程查询脚本查询导入文件中的任意类型,就只能选择抽取模式
  • 数据模型中的数据源表SQL查询即席查询,来源于不同的数据源,则只能选择抽取模式
  • 数据模型中仅含SQL查询,当点击保存后,若检测到连接的数据库不允许该SQL查询作为子查询,则系统会反馈信息给用户,要求用户更换成抽取模式

系统智能提示

连接模式由”抽取“切换到”直连“时,系统进行智能判断后给出相应的提示信息:

场景描述

提示信息图示

当前数据模型中的私有查询跨库,连接模式由”抽取“切换到”直连“时弹出提示,不允许切换成直连模式;

Image Added

若当前为直连模式,新建跨库私有查询后,弹出提示,必须为抽取模式;

Image Added

判断当前数据模型下私有查询是否都支持直连,如有查询不支持直连,切换过程弹出提示,不允许切换成直连模式;

Image Added

若当前为直连模式,新建不支持直连的私有查询,弹出提示,私有查询保存后自动转换为抽取模式;

Image Added