连接模式类型
数据模型的数据连接模式有两种:私有查询支持三种抽取方式,不同的抽取方式设置项有区别:
- 直连:连接到业务库,直接从业务库中取数。
- 抽取:连接到高速缓存库,从缓存库中取数;抽取模式可以保证秒级获取大级别量的数据结果,提高系统性能。
连接模式选择入口
在数据模型的“表关系区”右上角含有连接模式切换键:连接模式的选中状态以蓝底显示。全量抽取各设置项说明如下:
设置项
连接模式选择原则
类型 |
---|
原则 |
---|
- 勾选清空数据:清空缓存数据并重新抽取。
- 不勾除清空数据:保留每次抽取的数据记录,并再次抽取所有数据。
抽取表设置后台提高抽取性能的一项设置,可以通过选择”分区字段“和”分区类型“来确定分批抽取的标准。
“分区字段”和“分区类型”设置项用于设置集群的数据抽取,若未选择时间字段,则不使用Smartbiampp集群建表。
“分区字段”要求为日期类型的。
1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。
2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。
- 默认:表示按照参数的默认值抽取。
- 自定义:表示按照用户自定义的参数值抽取
增量抽取按时间戳
增量抽取表示只抽取新增的数据:增量通过时间戳来进行判断,根据设定的时间字段和参数来匹配出增量的数据进行抽取。
增量抽取各设置项说明如下:
设置项
说明
- 增量时间字段:用于选择表示时间的字段。
- 增量时间格式:用于设置时间格式与抽取目标表的时间格式保持一致,保证抽取时能匹配上。
- 增量时间参数:用于选择时间参数,实现将时间参数值传给时间字段。
抽取表设置后台提高抽取性能的一项设置,可以通过选择”分区字段“和”分区类型“来确定分批抽取的标准。
“分区字段”和“分区类型”设置项用于设置集群的数据抽取,若未选择时间字段,则不使用Smartbiampp集群建表。
“分区字段”要求为日期类型的。
1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。
2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。
- 默认:表示按照参数的默认值抽取。
- 自定义:表示按照用户自定义的参数值抽取
按次抽取
按次抽取是根据用户的登录状态进行抽取,用户每次登录都会重新生成Session后抽取一次数据。当用户刷新、预览、浏览报表时,根据Session抽取数据到高速缓存库中,退出系统时注销Session并删除高速缓存库中的临时表数据。
使用场景:监控类的场景。例如安保监控大厅需要及时查询更新信息,但是全量或增量抽取比较消耗系统性能,可选择按次抽取方式。
直连 |
|
抽取 |
|
系统智能提示
连接模式由”抽取“切换到”直连“时,系统进行智能判断后给出相应的提示信息:
场景描述 | 提示信息图示 |
---|---|
当前数据模型中的私有查询跨库,连接模式由”抽取“切换到”直连“时弹出提示,不允许切换成直连模式; | |
若当前为直连模式,新建跨库私有查询后,弹出提示,必须为抽取模式; | |
判断当前数据模型下私有查询是否都支持直连,如有查询不支持直连,切换过程弹出提示,不允许切换成直连模式; | |
若当前为直连模式,新建不支持直连的私有查询,弹出提示,私有查询保存后自动转换为抽取模式; |