...
- 目前数据模型含有导入文件、JAVA查询、脚本查询、ETL高级查询、存储过程查询、生成日期表(存储在高速缓存库时)这些查询时，必须使用 抽取 模式。
- 抽取和直连都支持：数据源表、即席查询、SQL查询、存储在指定数据库的日期表， 详参：查询并准备数据。
4.1 数据抽取类型介绍
数据抽取支持 全量抽取、按次抽取 。按次抽取 (查询动态抽取)、增量抽取。
| 警告 | ||
|---|---|---|
| ||
由于在V11最新版本上优化了抽取逻辑，原先的抽取生成大宽表改成了抽取小宽表，详情可查看：数据模型引擎V2.0。 |
...
全量抽取，即全量覆盖抽取， 每次抽取的时候将表数据全部抽取至MPP数据库,如果MPP已有数据，全量抽取会覆盖MPP已有的数据
示意图如下:
4.1.2 增量抽取
SQL查询、存储过程查询、java查询、可视化SQL查询、脚本查询支持增量抽取，导入文件、生成日期表、ETL高级查询不支持增量抽取。
详情可查看：增量抽取介绍。
4.1.3 查询动态抽取(原：按次抽取)
| 警告 | ||
|---|---|---|
| ||
按次抽取，在V11 查询动态抽取(原：按次抽取)，在V11 数据模型引擎V2.0上优化了抽取逻辑，主要优化了：
|
| 信息 |
|---|
1、按次抽取：与计划任务无关。查询动态抽取(原：按次抽取)：与计划任务无关。 2、如果模型里面的查询是数据源表，并且在源表设置了行权限，按次抽取会继承源表设置的行权限; 详参：数据模型行权限。 3、“按次抽取”是结合用户登录生成的Session及查询的参数组合进行抽取。如果用户注销或关闭浏览器，下一次登录系统会重新抽取。 4、按次抽取，如果把报表共享给其他人查看，用户使用public权限第一次打开会进行抽取数据，只要第一次打开的用户不注销或关闭浏览器，后面的用户都无需重新抽取。 5、ETL高级查询不支持按次抽取。 6、按次抽取适合数据量小的情况，如果数据量大，切换参数备选值都会抽取，比较耗时，影响用户体验。 |
“按次抽取”使用场景：“查询动态抽取(原：按次抽取)”使用场景：
- 数据安全问题：按次抽取是根据用户本身的权限进行抽取，只能查看自己有权限的数据；并且每次登出会清空缓存表。
- 数据实时性问题：按次抽取是根据参数备选值进行抽取，如果源库本身性能不行，并且数据量不大，对数据实时性要求更高，可以采用按次抽取。
...
4、在抽取设置 设置查询为 按次抽取，并保存数据模型。
- 数据有效期：当模型中设置了数据有效期，基于它做的报表，如果访问的时候发现失效了，会重新抽取；如果失效了但是没有访问不会重抽，直到下次访问的时候才会重抽。
5、去创建 交互式仪表盘，并把参数拖入到画布中，切换参数，组件可以根据参数动态展示数据：
- 如果是第一次切换的参数值，会从底层数据库取数，会触发抽取；如果后面再切换回原来的参数值，不会重新取数，而是取缓存的数据。
- 如果有新的数据进来，可以退出账号重新登录再查看或者清空缓存。
4.1.
...
4 抽取设置介绍
| 信息 | ||
|---|---|---|
| ||
抽取的整体逻辑简单介绍:
|
Smartbi数据模型的手工抽取类型有：抽取并建宽表、单个查询的抽取、更新宽表。
| 选项 | |
|---|---|
| 抽取并建宽表 | 适用于手动抽取的任意场景，比如模型的某个字段数据类型改了，别名改了，关系修改了，增加了某个字段等等，点击“抽取并建宽表”都会把整个模型的查询全部重抽并重新生成大宽表。 |
| 单个查询的抽取 |
|
| 更新宽表 | 如果模型里面的所有查询都没有任何调整，只是基数更改了，那么可以直接用更新宽表的方式减少抽取时间。 |
| 抽取参数值 |
| 锚 | ||||
|---|---|---|---|---|
|
...
5 抽取计划
| 信息 |
|---|
1、只要是抽取的模型，第一次保存之后都会自动生成计划任务，默认是停止状态。 2、在数据模型上点击”抽取并建宽表“不走抽取计划进行抽取。 |
...
2、设置好查询的抽取方式以及抽取参数值，如果想定时更新模型的数据，那么可以使用计划任务进行抽取, 详参：计划任务。
4.1.
...
6 抽取日志
用户查看抽取日志：
- 可以更好的判断模型是否已经抽取成功。
- 如果模型抽取失败可以在抽取日志中查看抽取失败的原因。
...
