目前数据模型含有导入文件、JAVA查询、脚本查询、ETL高级查询、存储过程查询、生成日期表这些查询时，必须使用抽取模式

1 概述

Smartbi 数据模型提供“直连”和“抽取”两种数据加载模式：

...

信息

1、抽取的分区设置目前支持的MPP库：只有SmartbiMpp产品默认使用高速缓存库CH、StarRocks。

其中StarRocks的分区的设置: 目前不支持年季，只支持年、年月、年月日，详细可查看官网：目前不支持年季、年周，只支持年、年月、年月日，详细可查看官网：https://docs.starrocks.io/zh/docs/3.1/table_design/data_distribution/expression_partitioning/。
而clickhouse支持年周的话会与年季有冲突，所以clickhouse也不支持年周。
clickhouse 要求每次批量导入数据时不能跨越特别多的分区，默认分区上限是100，如果想要更多分区，可以通过修改clickhouse的配置文件中参数max_partitions_per_insert_block来控制数量。

2、分区设置仅支持抽取模式，支持的范围：全量抽取、增量抽取、查询动态抽取。

...

2、保存好模型，设置模型为抽取模式，并设置【orders】为全量抽取，设置分区设置：

选项
分区设置	选择日期或日期时间类型的字段作为分区依据时，系统会自动将数据分配到相应的分区表中。这样做不仅有助于更快的抽取数据，还能显著提升查询效率，特别是在进行大规模数据分析时。温馨提示：请选择一个在记录创建后几乎不发生变化的字段作为分区字段，例如记录的创建时间。避免使用那些在数据生命周期内可能会更新的字段（如最后修改时间），因为这会导致分区数据重复或不准确。
	分区字段	目前只支持日期、日期时间字段，每次只能选择一个字段。
	分区格式

选项：年、年季、年月、年月日。暂不支持年周，原因：starRocks不支持年周，而clickhouse支持年周的话会与年季有冲突。

选项：年、年季、年月、年月日。暂不支持年周，原因：starRocks不支持年周、年季，而clickhouse支持年周的话会与年季有冲突，所以没有支持

目前不支持年季，只支持年、年月、年月日，详细可查看官网：

目前不支持年季、年周，只支持年、年月、年月日，详细可查看官网：https://docs.starrocks.io/zh/docs/3.1/table_design/data_distribution/expression_partitioning/。
clickhouse 要求每次批量导入数据时不能跨越特别多的分区，默认分区上限是100，如果想要更多分区，可以通过修改clickhouse的配置文件中参数max_partitions_per_insert_block来控制数量。

信息

max_partitions_per_insert_block设置方法：

方法一：配置文件设置

找到ClickHouse的配置文件，通常位于/etc/clickhouse-server/config.xml或/etc/clickhouse-server/users.xml。
在配置文件中找到块，该块包含了ClickHouse的配置选项。
在块中添加以下配置项：

<profile>
<max_partitions_per_insert_block>1000</max_partitions_per_insert_block>
</profile>

方法二：会话级别设置

SET max_partitions_per_insert_block=1000(1000只是示意，可自行修改)

3、设置好分区之后对模型进行抽取，点击【立即抽取】，再去“系统监控/SQL/MDX监控”查看到抽取到MPP表的表名，如下图：

...

版本比较

关注我们

服务支持