当时开向杏花後，今日绽当梅萼前。不畏雪霜何太甚，繁英如火满枝燃。
1 发布月份
2024年 11月
2 更新概览
1、。
3 详细更新内容
...
为了应对更多的客户环境需求，指标模型的指标存储库新增支持Greenplum、星环ArgoDB数据库，详情可查看：创建指标模型 。
+ 数据模型支持增量抽取
...
目前数据模型针对大数据量处理只能全量抽取，每次抽取都要抽很久，效率很低；为了解决这个问题，在最新版本中，数据模型增加了增量抽取，相比全量抽取，增量抽取只需要处理新增或变动的数据，这大大减少了数据处理的时间，提高了数据同步的效率。详细可查看：目前，数据模型仅支持全量抽取，处理大数据量时耗时较长且效率低下。为了解决这一问题，最新版本的数据模型新增了增量抽取功能。增量抽取仅需处理新增或变动的数据，相比全量抽取显著缩短了数据处理时间，提升了数据同步效率。详细可查看：增量抽取。
性能对比报告: 硬件配置: 内存8G，CPU8核；测试数据库: 硬件配置：内存8G，CPU8核；测试数据库：MySQL 8.0。
场景1：在[orders]表中，初始数据量为1000w，分别增量“追加”100w、500w性能情况：
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1kw | 25 | 263s | 100w | 98s | 2.7倍 |
500W | 186s | 1.4倍 |
场景2：在[orders]表中，初始数据量为1亿，分别增量”追加“100w、500w性能情况：
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1亿 | 25 | 2084s | 100w | 434s | 4.8倍 |
500W | 584s | 3.5倍 |
场景3：在[orders]表中，初始数据量为1000w，分别增量”更新与插入“100w、500w性能情况：
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1000w | 25 | 263s | 100w | 140s | 1.9倍 |
500W | 234s | 1.1倍 |
场景4：在[orders]表中，初始数据量为1亿，分别增量”更新与插入“100w、500w性能情况：
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1亿 | 25 | 2084s | 100w | 740s | 2.8倍 |
500W | 904s | 2.3倍 |
+ 数据模型缓存支持设置失效时间
...
在最新版本中，对数据模型直连模式下的缓存策略进行了增强：
- 支持清空单个模型的缓存支持清空单个模型的缓存。
- 支持设置缓存有效时长：在设定的时间范围内，如果查询字段或条件值没有变化，再次访问将直接从缓存中获取数据，可以显著提升报表的访问速度，并有效减轻数据库的压力。详细可查看：缓存设置。
...
最新版本中，在编写计算列表达式时，增强了内置函数的校验提示，包括但不限于格式、语法校验，以及对统一函数的参数个数、顺序、类型的检查，让用户可以及时发现并修正错误，从而减少调试时间，提升整体的工作效率和用户体验。详细可查看：创建计算列 。
3.
...
3 自助ETL
+ ETL关系目标源支持Doris
...
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。详情可查看：自助ETL-关系目标源 。
...
