页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 28 下一个 »

1 概述

Smartbi 数据模型提供“直连”和“抽取”两种数据加载模式:

  • 直连:是指直接连接用户数据库进行数据的读取。
  • 抽取:则是将模型的数据抽取到SmartbiMPP数据库中提升查询效率,计算速度会更快,数据需要定期更新。


2 直连和抽取适用场景

2.2.1 什么样的用户适合适用直连模式

  • 实时性需求很高的用户用户进行业务分析实时性要求很高,直连引擎实时取数,最高实现毫秒级数据刷新。

  • 数据安全性要求很高的用户不希望将数据抽取到第三方软件,可使用新直连版本直连自己的数据库。

  • 拥有大数据平台的用户目前很多企业有较为专业的大数据平台,数据质量很高,通过直连引擎取数,可以在保障数据分析性能的同时避免数据资源冗余。

  • 数据量比较小,并觉得抽取要更新数据太过麻烦的用户直连性能要求较 抽取数据 要高一些,这部分用户数据量小所以使用直连不会有性能方面的担忧;使用直连可以不用更新数据,较为方便。


2.2.2 什么样的用户适合抽取模式

  • 联合查询当相关数据存储在不同数据库或文件内的多个表中时,可以使用数据模型的抽取做联合分析。
  • 非常适用于企业没有独立数仓或数仓负载过重的情况,用抽取模式可以提高性能。

3 直连介绍

1、目前Smartbi JDBC for Excel、MongoDB、Tinysoft、Smartbi jdbc4Olap这个几个数据库 不支持直连,其他数据库均支持 直连

2、打开数据模型默认是直连模式,如果不手动切换或者不加入不支持直连的查询类型,将会一直保持直连模式。

3、直连 时查询计算依赖原始数据库或数仓,如果底层数据库或数仓的配置过低、性能不好等,可能会导致取数慢、查询奔溃等问题。

4、若在原始数据库对表结构进行更改(比如进行了列的增减),那么表结构的变化不会立即更新到在数据模型中;需要对模型中的表进行“同步”操作,“同步”之后才会把新字段添加进来,详情可查阅:设置及修改查

5、若 直连 的是数据仓库,而数据仓库又是通过ETL作业流 进行更新同步的,如果作业流没有执行,直连查询的还是原来的数据。

6、4、如果是数据模型是 直连模式,则可以根据切换参数值动态筛选;如果数据模型是 抽取 模式,则只能根据设置的默认值筛选,无法动态切换;详参:参数设置

 1、直连模式示意图:

2、直连模式是Smartbi引擎查询的默认模式,所有的查询会发送给底层数据库或数仓执行;目前数据模型中支持直连的查询有:数据源表即席查询SQL查询存储在指定数据库的日期表,详参:查询并准备数据


4 抽取介绍

前置条件

1、抽取是指抽取数据到高速缓存库,现在仅支持的高速缓存库类型有:SmartbiMpp、SmartbiMD、Presto+Hive、Vertica和星环。

2、抽取到SmartbiMPP即ClickHouse,由于ClickHouse对中文的列名支持是不太友好的,会出现莫名其妙的问题,所以字段尽量使用英文命名。

3、抽取到SmartbiMPP即ClickHouse,要求ClickHouse版本在22及以上,详参:安装包组件说明

4、如果是数据模型是 直连模式,则可以根据切换参数值动态筛选;如果数据模型是 抽取 模式,则只能根据设置的默认值筛选,无法动态切换;详参:参数设置

5、如果是抽取模式,并且缓存库是ClickHouse,关系设置条件不支持 等于、不等于、大于等于、小于、小于等于 条件详参设置查询关系

6、更新模型或重抽会自动清理缓存,详情可参考:缓存设置

Smartbi数据模型先把源数据抽取到高速缓存库,然后从高速缓存库中取数。

4.1 数据抽取类型介绍

数据抽取支持 全量抽取按次抽取 

4.1.1 全量抽取

全量抽取模式:

1、如果使用 参数 进行权限控制,比如华南区域的员工只能查看华南的数据,华北区域员工只能查看华北的数据,那么抽取的时候需要使用管理员的账号进行抽取; 详情可查阅计划任务

2、如果模型的查询是数据源表,并且在源表设置了行权限,全量抽取不会继承源表设置的行权限,需要重新在模型上设置行权限;详参:数据模型行权限

3、如果模型使用了参数进行数据过滤或者权限控制,在报表层,切换参数无法过滤到数据非默认值的数据,详参:参数设置

4、如果模型的最后一次抽取失败,打开有影响的报表,无法正常查看,会提示需要抽取模型。

全量抽取,即全量覆盖抽取, 每次抽取的时候将表数据全部抽取至MPP数据库。

全量抽取:每次抽取,对数据库的全部数据进行抽取,并覆盖MPP数据库已有的数据,示意图如下:


4.1.2 按次抽取

1、如果模型里面的查询是数据源表,并且在源表设置了行权限,按次抽取会继承源表设置的行权限; 详参:数据模型行权限

2、“按次抽取”是结合用户的登录生成的Session及查询的参数组合进行抽取。如果用户注销或关闭浏览器,下一次登录系统会重新抽取。

3、按次抽取,如果把报表共享给其他人查看,用户使用public权限第一次打开会进行抽取数据,只要第一次打开的用户不注销或关闭浏览器,后面的用户都无需重新抽取。

“按次抽取”使用场景:

  • 有些客户希望实时数据,但又无法使用直连模式(如数据模型中含有存储过程模型表)或者是参数进行数据过滤情况。
  • 动态切换参数取数:比如用户查询数据量很大,并且在报表层无法直接使用字段作为筛选器,需要对参数进行加工处理。

示例:根据产品类别编号获取产品信息。

具体操作步骤如下:

1、以下面”“根据产品类别动态获取产品信息 进行介绍

2、在存储过程查询中选择产品自带的northwind数据库下面的“northwind_sp_getProductInfo存储过程, 如下图:

3、保存存储过程,并回到数据模型,创建参数,如下图,可参考 参数设置 创建参数:

4、在抽取设置 设置查询为按次抽取,并保存数据模型。

5、去建 交互式仪表盘,并把参数拖入,切换参数,组件可以根据参数动态展示数据:

  • 第一次切换的参数值,会从底层数据库取数;如果后面再切换回原来的参数值,不会重新取数,而是取缓存的数据。
  • 如果有新的数据进来,可以退出账号重新登录再查看或者清空缓存。 


4.1.3 抽取设置介绍

前置条件

抽取的整体逻辑简单介绍:

  • 先把数据模型每个查询的数据写入到CSV文件。
  • 再把CSV文件导入到MPP对应的临时表中。
  • 等把所有的查询都数据“拷贝”到MPP中后,再把MPP中每个查询的数据导入到大宽表中(根据模型基数关系生成的大宽表);如果其中一个查询“导入”数据失败,抽取就算失败。

Smartbi数据模型的手工抽取类型有:抽取并建宽表、单个查询的抽取、更新宽表

选项
抽取并建宽表适用于手动抽取的任意场景,比如模型的某个字段数据类型改了,别名改了,关系修改了,增加了某个字段等等,点击“抽取并建宽表”都会把整个模型的查询全部重抽并重新生成大宽表。 
单个查询的抽取
  1. 如果模型从来没有抽取过,点击单个查询的抽取,模型仍会运行【抽取并建宽表】的逻辑,因为这时只抽单个查询没有意义,在报表层会报错。
  2. 如果模型的某个查询变动过,比如修改了基数关系或者增加了字段等,你选中其中一个查询进行抽取,也会把已修改的所有查询给抽了,并且更新大宽表。
  3. 如果你很明确只是修改了这个查询,比如只针对这个查询更改了字段别名,那么就可以直接重新抽取这个查询的数并更新大宽表。
  4. 在模型中导入文件,因为本身已经导入到MPP中了,所以无需设置抽取方式。
更新宽表

如果模型里面的所有查询都没有任何调整,只是查询的数据改变了,那么可以直接用更新宽表的方式减少抽取时间。

抽取参数值
  • 入口:

  • 默认值:如果在参数设置映射了查询的参数,那么默认值以参数设置的为准;
  • 自定义: 如果想快速的更改参数默认值,可以直接在自定义默认值,抽取的是以自定义的默认值进行抽取,并且不会同步到参数管理的默认值。

4.1.4 抽取计划

只要是抽取的模型,第一次保存之后都会自动生成计划任务,默认是开启状态。


1、模型的抽取计划入口:

2、设置好查询的抽取方式以及抽取参数值,如果想定时更新模型的数据,那么可以使用计划任务进行抽取, 详参:计划任务


4.1.5 抽取日志

用户查看抽取日志:

  • 可以更好的判断模型是否已经抽取成功。
  • 如果模型抽取失败可以在抽取日志中查看抽取失败的原因。

1、入口:

2、点击进入抽取日志界面:

  • 默认根据显示屏大小,展示一屏的的抽取日志,滚动可以加载更多。
  • 如果模型其中一个查询抽取失败,则整个模型的状态是失败的;如果失败了,可以在“抽取失败信息”列下载日志信息。
  • 抽取时间:由于抽取是异步进行,相加每个查询的时间计算出来的时间不会等于“模型(大宽表)“的抽取时间,最终是以为“模型(大宽表)“的抽取时间为准。



  • 无标签