1 概述

在数据处理与分析场景中,当数据量庞大时,查询效率成为关键问题。

当用户在数据源库中设置了分区,也想在Smartbi 查询报表时,能直接命中分区,使查询语句能快速定位到所需数据,从而大幅提升查询性能。
所以推出了新功能,该功能允许用户在数据连接和数据模型中配置分区字段相关信息,确保查询时能精准命中分区,减少数据库压力,提升系统整体运行效率。



1、使用该功能前,需确保开启 SQL 简化功能默认开启。需要在系统选项/高级设置: 将COMMONS_SQL_OPEN_SIMPLIFY_SQL 设置为 true。
2、同时,OLAP 引擎也需开启 SQL 简化开关,即在配置项设置: mondrian.simplifySql 设置为 true。

只有完成这些配置,分区命中才能正常运行。

3、当在数据模型勾选了”禁用此分区设置“,这个分区设置不会生效。


2 适合场景

3 场景限制


3 具体示例

3.1 分区字段字符串:在事实表上设置了分区字段,使用分区字段作为过滤条件

如果使用事实表分区字段作为过滤条件,这个产品本身就可以直接命中的,不需要任何设置。

以MYSQL数据库表创建分区为例进行说明

1、连接到mysql数据库中创建表:DateExchange,同时给设置好分区,如下图:

创建表时,以”年月日“进行分区,当“年月日”<20250101时,需要命中“p202501”;当“年月日”<20250201时 需要命中”p202502“;当“年月日”<20250301时 需要命中”p202503“;当“年月日”符合其他条件,那就命中”other“。

2、创建好表,给表灌几条数据,如下图:

3、去创建数据模型,把该表加入到数据模型中,保存数据模型:

4、去创建透视分析,让”年月日“作为过滤条件:

5、去到系统监控/SQL/MDX监控中查看并复制运行的取数SQL语句:

6、去到mysql数据库中,使用explain +上一步复制的SQL的语句,执行,查看命中了哪个分区:

可以看到上图,命中了”p202502“分区。如果partitions显示了:p202501,p202502,p202503,other, 则代表没有命中分区。


3.2 分区字段字符串:在事实表上设置了分区字段,使用关联的维表的时间维度作为过滤条件

以3.1示例创建的表以及分区为例进行说明

1、在数据库下的表进行“分区设置”

2、设置分区字段:

3、设置好分区字段之后去创建模型,添加一个维表,让它与事实表关联,如下图:

4、创建模型,把在数据库表上的分区同步过来:

5、基于该模型去创建透视分析,使用日期时间维度的“年月”作为过滤条件:

6、去到系统监控/SQL/MDX监控中查看并复制运行的取数SQL语句:

7、去到mysql数据库中,使用explain +上一步复制的SQL的语句,执行,查看命中了哪个分区:

可以看到上图,命中了”p202503“分区。

8、再使用“年季”的作为过滤条件:

与步骤6、7一样,去系统监控拷贝执行SQL语句到mysql数据库中用explain 执行,发现也能命中分区:

总结:关联的日期维表所创建的时间维度下面的所有时间层次作为过滤条件,都能命中分区。


3.3  分区字段为日期:在事实表上设置了分区字段,使用分区字段自己生成的时间维度作为过滤条件

以mysql数据库表创建分区为例进行说明

连接到mysql数据库中创建表:orders_partition,同时给设置好分区,如下图:

创建表时,以”OrderDate“进行分区,当“OrderDate”<2020-02-01 00:00:00时,需要命中“p202001”;当“OrderDate”<2020-03-01 00:00:00时 需要命中”p202002“;当“年月日”符合其他条件,那就命中”p_future“。

orders_partition的数据效果如下:

1、把orders_partition表通过 数据库管理,把表加载到数据源下,并设置分区字段:

分区字段:可以选择日期、字符串、整型字段,这里选择在数据库中设置的分区字段“OrderDate”:

点击【确定】保存设置的分区信息,下次打开会显示上一次设置的信息。

2、去创建数据模型,并基于orders_partition的“orderDate”字段创建时间维度, 并同步“分区信息”到数据模型中:

时间维度:必须选择基于“分区字段”、或者关联的日期维表所创建的时间维度。否则查询时可能出错,或者查询数据不正确。

3、保存数据模型,去创建透视分析:

4、去到系统监控/SQL/MDX监控中查看并复制运行的取数SQL语句:

7、去到mysql数据库中,使用explain +上一步复制的SQL的语句,执行,查看命中了哪个分区:

看下图可以看到是命中了"p202002"区。


3.4  分区字段为日期:在事实表上设置了分区字段,使用关联的维表的时间维度作为过滤条件

以3.3创建的数据模型为例说明。

1、在模型中增加”日期表“作为orders_partition的维表,如下图:

2、分区设置指定时间维度为”日期表“生成的时间维:

3、保存模型并创建透视分析:

4、去到系统监控/SQL/MDX监控中查看并复制运行的取数SQL语句;去到mysql数据库中,使用explain +上一步复制的SQL的语句,执行,查看命中了哪个分区:

看下图可以看到是命中了"p_future"区。



3.5  分区字段是”整形“情况

界面操作、逻辑与3.1、3.2章节一致。


4 报表层哪些操作符能命中分区

查询中指定的过滤字段

操作符


年(例:2024)

年月日(例:2024-09-29)

年月(例:2024-09)

年季(列:2024Q1)

=、in

支持

>
>=

<

<=

!=、not in

不支持