...
2 直连和抽取适用场景
2.2.1 什么样的用户适合适用直连模式
实时性需求很高的用户:用户进行业务分析实时性要求很高,直连引擎实时取数,最高实现毫秒级数据刷新。
数据安全性要求很高的用户:不希望将数据抽取到第三方软件,可使用新直连版本直连自己的数据库。
拥有大数据平台的用户:目前很多企业有较为专业的大数据平台,数据质量很高,通过直连引擎取数,可以在保障数据分析性能的同时避免数据资源冗余。
数据量比较小,并觉得抽取要更新数据太过麻烦的用户:直连性能要求较 抽取数据 要高一些,这部分用户数据量小所以使用直连不会有性能方面的担忧。使用直连可以不用更新数据,较为方便。
2.2.2 什么样的用户适合抽取模式
- 联合查询:当相关数据存储在不同数据库或文件内的多个表中时,可以使用数据模型的抽取做联合分析
- 非常适用于企业没有独立数仓或数仓负载过重的情况,用抽取模式可以提高性能
...
注意 |
---|
全量抽取模式, 1、如果使用参数进行权限控制,比如华南区域的员工只能查看华南的数据,华北区域员工只能查看华北的数据,那么抽取的时候需要使用管理员的账号进行抽取; 详情可查阅计划任务 2、如果模型的查询是数据源表,并且在源表设置了行权限,全量抽取不会继承源表设置的行权限,需要重新在模型上设置行权限;详参:行权限设置 3、如果模型使用了参数进行数据过滤或者权限控制,在报表层,切换参数无法过滤到数据非默认值的数据,详参:参数管理 |
每次抽取的时候将表数据全部抽取至MPP数据库,是全量覆盖抽取.
...
- 有些客户希望实时数据,但又无法使用直连模式(如数据模型中含有存储过程模型表)或者是参数进行数据过滤情况。
- 动态切换参数取数:比如用户查询数据量很大,并且在报表层无法直接使用字段作为筛选器,需要对参数进行加工处理
下面以产品自带的Northwind数据库的northwind以产品自带的Northwind数据库下面”“根据产品类别动态获取产品信息“-northwind_sp_getProductInfo存储过程“根据产品类别动态获取产品信息”为例说明按次抽取的原理:在数据模型下建模型并把存储过程加入到模型中,getProductInfo存储过程为例简单介绍按次抽取:
在数据模型下建模型并把存储过程加入到模型中,设置查询为按次抽取:
并在【参数管理】中映射参数,以及填写默认值和备选值,如下图:
去建仪表盘,并把参数拖入,切换参数,可以根据参数显示数据:
去建仪表盘,并把参数拖入;在也没切换参数,组件可以根据参数显示数据:
- 第一次切换的参数值,会从底层数据库取数;如果后面再切换回原来的参数值,不会重新取数,而是取缓存的数据;
- 如果有新的数据进来,可以退出账号重新登录再查看或者清空缓存。
4.1.3 抽取设置
抽取的整体逻辑简单介绍:
- 先把数据模型每个查询的数据写入到CSV文件
- 再把CSV文件写入到MPP对应的临时表中
- 等把所有的查询都数据“拷贝”到MPP中后,再把MPP中每个查询的数据导入到大宽表中(根据模型基数关系生成的大宽表);如果其中一个查询“导入”数据失败,抽取就算失败。
...
- 抽取参数值:
4.1.4 抽取计划
设置好查询的抽取方式以及抽取参数值,如果想定时更新模型数据,那么可以适用计划任务进行抽取设置好查询的抽取方式以及抽取参数值,如果想定时更新模型的数据,那么可以使用计划任务进行抽取, 详参:计划任务
模型的抽取计划入口:
点击进入抽取计划界面:
...