页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 5 下一个 »

抽取包含抽取设置、抽取计划和抽取日志三部分内容。

只有当”抽取“连接模式呈选中状态时,显示向下箭头,单击该箭头弹出下拉菜单:

抽取设置

抽取设置用于对当前数据模型中各私有查询分别进行抽取方式、抽取表、抽取参数等设置项的配置。

设置入口

抽取设置入口有如下两个:

入口抽取设置窗口
在“抽取”连接模式下,在表数据区单击 抽取设置 按钮。

抽取切换键下拉菜单 抽取设置

私有查询对象列表蓝底的对象,表示当前抽取设置是针对该私有查询的。

全量抽取

全量抽取表示把数据全部抽取。

全量抽取各设置项说明如下:

设置项

说明

基本设置
  • 勾选清空数据:清空缓存数据并重新抽取。
  • 不勾除清空数据:保留每次抽取的数据记录,并再次抽取所有数据。
抽取表设置

抽取表设置后台提高抽取性能的一项设置,可以通过选择”分区字段“和”分区类型“来确定分批抽取的标准。

“分区字段”和“分区类型”设置项用于设置集群的数据抽取,若未选择时间字段,则不使用Smartbiampp集群建表。

“分区字段”要求为日期类型的。

1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。

2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。

抽取参数值
  • 默认:表示按照参数的默认值抽取。
  • 自定义:表示按照用户自定义的参数值抽取

增量抽取按时间戳

增量抽取表示只抽取新增的数据:增量通过时间戳来进行判断,根据设定的时间字段和参数来匹配出增量的数据进行抽取。

增量抽取各设置项说明如下:

设置项

说明

基本设置
  • 增量时间字段:用于选择表示时间的字段。
  • 增量时间格式:用于设置时间格式与抽取目标表的时间格式保持一致,保证抽取时能匹配上。
  • 增量时间参数:用于选择时间参数,实现将时间参数值传给时间字段。
抽取表设置

抽取表设置后台提高抽取性能的一项设置:当数据量超大时,一次抽取可能耗费大量的时间和内存,因此可以通过”分区字段“和”分区类型“对抽取的数据进行分批抽取设置。

“分区字段”要求为日期类型。

1、在不清空数据的情况下,集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。

2、如果mpp是单机部署的,则无论是否有设置分区字段,都默认使用Log引擎创建表;如果mpp是集群部署的,则选择分区字段后,将使用MergeTree引擎创建表。

抽取参数值
  • 默认:表示按照参数的默认值抽取。
  • 自定义:表示按照用户自定义的参数值抽取

按次抽取

按次抽取是结合用户的登录生成的Session及查询的参数组合进行抽取。

使用场景:

  • 有些客户希望实时数据,但又无法使用直连模式(如数据模型中含有存储过程模型表)。
  • 数据模型中一部分数据和用户信息密切相关(如权限等),但又不能使用直连模式。

抽取计划

抽取计划是指通过计划任务对私有查询进行抽取,抽取计划是针对整个数据模型的,该模型下的所有私有查询皆按照该计划执行抽取操作。

抽取计划执行的前提:当前数据模型必须已经保存。

抽取切换键下拉菜单 抽取计划

抽取计划界面如下图所示:

抽取计划的设置项详情请参考 计划任务 相关内容。

抽取日志

抽取日志用于显示当前数据模型下各私有查询的抽取详情,包含了抽取开始结束时间、抽取状态等信息。

抽取切换键下拉菜单 抽取日志

抽取日志界面如下:

抽取日志详情请参见 抽取日志

适用场景

1、原始数据性能慢,希望提升查询速度。

2、数据变化频率不高。

注意事项

1、导入文件、脚本查询、ETL高级查询、存储过程查询必须使用抽取模式。

2、使用了infobright作为高速缓存库的老用户,为了保证V10新功能的使用,需要重新配置高速缓存库。

3、数据模型的参数在自助仪表盘应用时,参数切换有效的前提是:连接模式必须是“直连”或者“按次抽取”。

  • 无标签