...
设置方法:在字段对应的设置项中单击,修改相应的设置项即可。
抽取设置
抽取设置是当数据模型的连接方式为”抽取“时,需要分别所有私有查询的抽取进行设置的内容。
私有查询支持三种抽取方式,不同的抽取方式设置项有区别:
全量抽取
全量抽取表示把数据全部抽取。
全量抽取各设置项说明如下:
...
- 勾选清空数据:清空缓存数据并重新抽取。
- 不勾除清空数据:保留每次抽取的数据记录,并再次抽取所有数据。
...
抽取表设置后台提高抽取性能的一项设置,可以通过选择”分区字段“和”分区类型“来确定分批抽取的标准。
“分区字段”和“分区类型”设置项用于设置集群的数据抽取,若未选择时间字段,则不使用Smartbiampp集群建表。
“分区字段”要求为日期类型的。
注意 |
---|
1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。 2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。 |
...
- 默认:表示按照参数的默认值抽取。
- 自定义:表示按照用户自定义的参数值抽取
增量抽取按时间戳
增量抽取表示只抽取新增的数据:增量通过时间戳来进行判断,根据设定的时间字段和参数来匹配出增量的数据进行抽取。
增量抽取各设置项说明如下:
...
- 增量时间字段:用于选择表示时间的字段。
- 增量时间格式:用于设置时间格式与抽取目标表的时间格式保持一致,保证抽取时能匹配上。
- 增量时间参数:用于选择时间参数,实现将时间参数值传给时间字段。
...
抽取表设置后台提高抽取性能的一项设置,可以通过选择”分区字段“和”分区类型“来确定分批抽取的标准。
“分区字段”和“分区类型”设置项用于设置集群的数据抽取,若未选择时间字段,则不使用Smartbiampp集群建表。
“分区字段”要求为日期类型的。
注意 |
---|
1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。 2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。 |
...
- 默认:表示按照参数的默认值抽取。
- 自定义:表示按照用户自定义的参数值抽取
按次抽取
按次抽取是根据用户的登录状态进行抽取,用户每次登录都会重新生成Session后抽取一次数据。当用户刷新、预览、浏览报表时,根据Session抽取数据到高速缓存库中,退出系统时注销Session并删除高速缓存库中的临时表数据。
使用场景:监控类的场景。例如安保监控大厅需要及时查询更新信息,但是全量或增量抽取比较消耗系统性能,可选择按次抽取方式。