...
- 目前导入文件、JAVA查询、脚本查询、ETL高级查询、存储过程查询、生成日期表,含有这些查询时,必须使用 抽取 模式。
- 抽取和直连都支持:数据源表、即席查询、SQL查询、存储在指定数据库的日期表, 详参:查询并准备数据。
4.1 数据抽取类型介绍
数据抽取分为 数据抽取支持 全量抽取、按次抽取 两种抽取方式。。
4.1.1 全量抽取
注意 |
---|
全量抽取模式: 1、如果使用参数进行权限控制,比如华南区域的员工只能查看华南的数据,华北区域员工只能查看华北的数据,那么抽取的时候需要使用管理员的账号进行抽取; 1、如果使用 参数 进行权限控制,比如华南区域的员工只能查看华南的数据,华北区域员工只能查看华北的数据,那么抽取的时候需要使用管理员的账号进行抽取; 详情可查阅计划任务。 2、如果模型的查询是数据源表,并且在源表设置了行权限,全量抽取不会继承源表设置的行权限,需要重新在模型上设置行权限;详参:2、如果模型的查询是数据源表,并且在源表设置了行权限,全量抽取不会继承源表设置的行权限,需要重新在模型上设置行权限;详参:数据模型行权限。 3、如果模型使用了参数进行数据过滤或者权限控制,在报表层,切换参数无法过滤到数据非默认值的数据,详参:参数设置。 4、如果模型的最后一次抽取失败,打开有影响的报表,无法正常查看,会提示需要抽取模型。 |
每次抽取的时候将表数据全部抽取至MPP数据库,是全量覆盖抽取.
...
4、如果模型的最后一次抽取失败,打开有影响的报表,无法正常查看,会提示需要抽取模型。 |
全量抽取,即全量覆盖抽取, 每次抽取的时候将表数据全部抽取至MPP数据库。
全量抽取:每次抽取,对数据库的全部数据进行抽取,并覆盖MPP数据库已有的数据,示意图如下:
4.1.2 按次抽取
信息 |
---|
1、如果模型里面的查询是数据源表,并且在源表设置了行权限,按次抽取会继承源表设置的行权限1、如果模型里面的查询是数据源表,并且在源表设置了行权限,按次抽取会继承源表设置的行权限; 详参:数据模型行权限。 2、“按次抽取”是结合用户的登录生成的Session及查询的参数组合进行抽取。如果用户注销或关闭浏览器,下一次登录系统会重新抽取。 3、按次抽取,如果把报表共享给其他人查看,用户使用public用户第一次打开会抽取,只要第一次打开的用户不注销或关闭浏览器,后面的用户都无需重新抽取。 |
...
2、在存储过程查询中选择产品自带的northwind数据库下面的“northwind_sp_getProductInfo存储过程getProductInfo存储过程, 如下图:
3、保存存储过程,并回到数据模型,创建参数,如下图,可参考 参数设置 创建参数:
...
2、设置好查询的抽取方式以及抽取参数值,如果想定时更新模型的数据,那么可以使用计划任务进行抽取, 详参:计划任务。
4.1.5 抽取日志
用户查看抽取日志:
- 可以更好的判断模型是否已经抽取成功可以更好的判断模型是否已经抽取成功。
- 如果模型抽取失败可以在抽取日志中查看抽取失败的原因如果模型抽取失败可以在抽取日志中查看抽取失败的原因。
1、入口:
2、点击进入抽取日志界面:
- 默认根据显示屏大小,展示一屏的的抽取日志,滚动可以加载更多;默认根据显示屏大小,展示一屏的的抽取日志,滚动可以加载更多。
- 如果模型其中一个查询抽取失败,则整个模型的状态是失败的;如果失败了,可以在“抽取失败信息”列下载日志信息如果模型其中一个查询抽取失败,则整个模型的状态是失败的;如果失败了,可以在“抽取失败信息”列下载日志信息。
- 抽取时间:由于抽取是异步进行,相加每个查询的时间计算出来的时间不会等于“模型(大宽表)“的抽取时间,最终是以为“模型(大宽表)“的抽取时间为准。
...