...
数据抽取分为全量抽取、按次抽取两种抽取方式。
4.1.1 全量抽取
注意 |
---|
全量抽取模式, 1、如果使用参数进行权限控制,比如华南区域的员工只能查看华南的数据,华北区域员工只能查看华北的数据,那么抽取的时候需要使用管理员的账号进行抽取; 详情可查阅计划任务 2、如果模型的查询是数据源表,并且在源表设置了行权限,全量抽取不会继承源表设置的行权限,需要重新在模型上设置行权限;详参:行权限设置 3、如果模型使用了参数进行数据过滤或者权限控制,在报表层,切换参数无法过滤到数据非默认值的数据,详参:参数管理 |
每次抽取的时候将表数据全部抽取至MPP数据库,是全量覆盖抽取.
全量覆盖抽取:每次抽取,对数据库的全部数据进行抽取,并覆盖MPP数据库已有的数据,如下图所示:
...
4.1.
...
2 按次抽取
信息 |
---|
如果模型里面的查询是数据源表,并且在源表设置了行权限,按次抽取会继承源表设置的行权限; 详参:行权限设置 |
“按次抽取”是结合用户的登录生成的Session及查询的参数组合进行抽取。
...
- 有些客户希望实时数据,但又无法使用直连模式(如数据模型中含有存储过程模型表)或者是参数进行数据过滤情况。
- 动态切换参数取数:比如用户查询数据量很大,并且在报表层无法直接使用字段作为筛选器,需要对参数进行加工处理
下面以产品自带的Northwind自带的northwind_sp_getProductInfo存储过程“根据产品类别动态获取产品信息”下面以产品自带的Northwind数据库的northwind_sp_getProductInfo存储过程“根据产品类别动态获取产品信息”为例说明按次抽取的原理:
在数据模型下建模型并把存储过程加入到模型中,并在【参数管理】中映射参数,以及填写默认值和备选值,如下图:
去建仪表盘,并把参数拖入,切换参数,可以根据参数显示数据:
4.1.3 抽取设置
抽取的整体逻辑简单介绍:
- 先把数据模型每个查询的数据写入到CSV文件
- 再把CSV文件写入到MPP对应的临时表中
- 等把所有的查询都数据“拷贝”到MPP中后,再把MPP中每个查询的数据导入到大宽表中(根据模型基数关系生成的大宽表);如果其中一个查询“导入”数据失败,抽取就算失败。
Smartbi数据模型的手工抽取类型有:抽取并建宽表、单个查询的抽取、更新宽表
- 抽取并建宽表:适用于手动抽取的任意场景下,比如模型的某个字段数据类型改了,别名改了,关系修改了,增加了某个字段等等,点击“抽取并建宽表”都会把整个模型的查询全部重抽并重新生成大宽表。
- 单个查询的抽取:
- 如果模型从来没有抽取过,你点单个查询的抽取,模型仍会运行【抽取并建宽表】的逻辑,因为这时只抽单个查询没有意义,在报表层会报错。
- 如果模型的某个查询变动过,比如修改了基数关系或者增加了字段等,你选中其中一个查询进行抽取,也会把已修改的所有查询给抽了,并且更新大宽表。
- 如果你很明确只是修改了这个查询,比如只针对这个查询更改了字段别名,那么就可以直接重新抽取这个查询的数并更新大宽表。
- 更新宽表:如果模型里面的所有查询都没有任何调整,只是查询的数据改变了,那么可以直接用更新宽表的方式减少抽取时间。
- 抽取参数值:
4.1.4 抽取计划
设置好查询的抽取方式以及抽取参数值,如果想定时更新模型数据,那么可以适用计划任务进行抽取, 详参:计划任务
模型的抽取计划入口:
点击进入抽取计划界面:
4.1.5 抽取日志
用户查看抽取日志:
- 可以更好的判断模型是否已经抽取成功
- 如果模型抽取失败可以在抽取日志中查看抽取失败的原因
入口:
点击进入抽取日志界面:
- 默认根据显示屏大小,展示一屏的的抽取日志,滚动可以加载更多;
- 如果模型其中一个查询抽取失败,则整个模型的状态是失败的;如果失败了,可以在“抽取失败信息”列下载日志信息
- 抽取时间:由于抽取是异步进行,相加每个查询的时间计算出来的时间不会等于“模型(大宽表)“的抽取时间,最终是以为“模型(大宽表)“的抽取时间为准。