页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。
评论: 抽取设置内容单独拿出来

...

设置方法:在字段对应的设置项中单击,修改相应的设置项即可。

抽取设置

抽取设置是当数据模型的连接方式为”抽取Image Removed“时,需要分别所有私有查询的抽取进行设置的内容。

Image Removed

私有查询支持三种抽取方式,不同的抽取方式设置项有区别:

全量抽取

全量抽取表示把数据全部抽取。

Image Removed

全量抽取各设置项说明如下:

...

  • 勾选清空数据:清空缓存数据并重新抽取。
  • 不勾除清空数据:保留每次抽取的数据记录,并再次抽取所有数据。

...

抽取表设置后台提高抽取性能的一项设置,可以通过选择”分区字段“和”分区类型“来确定分批抽取的标准。

“分区字段”和“分区类型”设置项用于设置集群的数据抽取,若未选择时间字段,则不使用Smartbiampp集群建表。

“分区字段”要求为日期类型的。

注意

1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。

2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。

...

  • 默认:表示按照参数的默认值抽取。
  • 自定义:表示按照用户自定义的参数值抽取

增量抽取按时间戳

增量抽取表示只抽取新增的数据:增量通过时间戳来进行判断,根据设定的时间字段和参数来匹配出增量的数据进行抽取。

Image Removed

增量抽取各设置项说明如下:

...

  • 增量时间字段:用于选择表示时间的字段。
  • 增量时间格式:用于设置时间格式与抽取目标表的时间格式保持一致,保证抽取时能匹配上。
  • 增量时间参数:用于选择时间参数,实现将时间参数值传给时间字段。

...

抽取表设置后台提高抽取性能的一项设置,可以通过选择”分区字段“和”分区类型“来确定分批抽取的标准。

“分区字段”和“分区类型”设置项用于设置集群的数据抽取,若未选择时间字段,则不使用Smartbiampp集群建表。

“分区字段”要求为日期类型的。

注意

1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。

2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。

...

  • 默认:表示按照参数的默认值抽取。
  • 自定义:表示按照用户自定义的参数值抽取

按次抽取

按次抽取是根据用户的登录状态进行抽取,用户每次登录都会重新生成Session后抽取一次数据。当用户刷新、预览、浏览报表时,根据Session抽取数据到高速缓存库中,退出系统时注销Session并删除高速缓存库中的临时表数据。

使用场景:监控类的场景。例如安保监控大厅需要及时查询更新信息,但是全量或增量抽取比较消耗系统性能,可选择按次抽取方式。

Image Removed