...
信息 |
---|
1、抽取的分区设置目前支持的MPP库:只有SmartbiMpp产品默认使用高速缓存库CH、StarRocks。
2、分区设置仅支持抽取模式,支持的范围:全量抽取、增量抽取、查询动态抽取。 |
下面以示例说明分区设置的操作以及查看是否命中了分区。
以产品内置的northwind数据库里面的【orders】、【orderdetails】为示例构建数据模型
1、把【orders】、【orderdetails】加载到数据模型中,并创建数据模型
2、保存好模型,设置模型为 抽取 模式,并设置【orders】为全量抽取,设置分区设置:
选项 | ||||
---|---|---|---|---|
分区设置 | 选择日期或日期时间类型的字段作为分区依据时,系统会自动将数据分配到相应的分区表中。这样做不仅有助于更快的抽取数据,还能显著提升查询效率,特别是在进行大规模数据分析时。 温馨提示: 请选择一个在记录创建后几乎不发生变化的字段作为分区字段,例如记录的创建时间。 避免使用那些在数据生命周期内可能会更新的字段(如最后修改时间),因为这会导致分区数据重复或不准确。 | |||
分区字段 | 目前只支持日期、日期时间字段,每次只能选择一个字段。 | |||
分区格式 | 选项:年、年季、年月、年月日。暂不支持年周,原因:starRocks不支持年周,而clickhouse支持年周的话 会与年季有冲突。
|
3、设置好分区之后对模型进行抽取,点击【立即抽取】,再去“系统监控/SQL/MDX监控”查看到抽取到MPP表的表名,如下图:
4、使用数据库工具连接MPP库,使用下面的语句查看是否命中分区?
如果查询有对应的数据,则分区成功。
代码块 |
---|
SELECT
partition,
name,
active
FROM system.parts
where table like '%o_662e015ae0aced9a870441ef1f3a2990_0_2%' |
4.1.5 抽取设置介绍
信息 | ||
---|---|---|
| ||
抽取的整体逻辑简单介绍:
|
...