当时开向杏花後，今日绽当梅萼前。不畏雪霜何太甚，繁英如火满枝燃。
1 发布月份
2024年 11月
2 更新概览
1、。增量抽取能力的提升：数据模型新增支持增量抽取，这一改进显著提升了在大数据量环境下的数据抽取效率，确保用户能够更快速地获取所需数据。
2、强化数据安全性：为了进一步增强系统的安全防护，我们增加了忘记密码功能，并支持接入短信服务平台，以满足更多项目场景。
3、增强缓存管理：对数据模型的缓存功能进行了全面增强，兼顾了数据的时效性与查询性能，让数据查询变得更加高效流畅。
4、优化用户体验：改进了仪表盘主题选择面板，提供可视化展示效果和使用说明；透视分析新增批量选择表字段功能；Web电子表格支持设置分组字段是否合并单元格显示等。
5、更强数据库兼容性：新版本在指标模型、自助ETL等模块上兼容更多数据库，显著提升数据接入能力，满足不同用户的多样化需求。
3 详细更新内容
+表示新增，^表示增强，<表示变更。
...
星环ArgoDB是一款企业级的分布式数据库，它结合了多种数据处理技术的优点，旨在提供高效、灵活的数据管理和分析能力，是信创产业的优秀产品。详情可查看：星环ArgoDB数据连接。
3.2
...
指标模型
+ 指标模型的指标存储库支持多个数据库
...
为了应对更多的客户环境需求，指标模型的指标存储库新增支持Greenplum、星环ArgoDB数据库，详情可查看：创建指标模型 。
3.3 数据模型
+ 数据模型支持增量抽取
...
目前，数据模型仅支持全量抽取，处理大数据量时耗时较长且效率低下。为了解决这一问题，最新版本的数据模型新增了增量抽取功能。增量抽取仅需处理新增或变动的数据，相比全量抽取显著缩短了数据处理时间，提升了数据同步效率。详细可查看：目前，数据模型仅支持全量抽取，处理大数据量时耗时较长且效率低下。为了解决这一问题，新版本的数据模型新增了增量抽取功能。增量抽取仅需处理新增或变动的数据，相比全量抽取显著缩短了数据处理时间，提升了数据同步效率。详细可查看：增量抽取。
性能对比报告: 硬件配置：内存8G，CPU8核；测试数据库：MySQL 8.0。
场景1：在[orders]表中，初始数据量为1000w，分别增量“追加”100w、500w性能情况：
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1kw | 25 | 263s | 100w | 98s | 2.7倍 |
500W | 186s | 1.4倍 |
场景2：在[orders]表中，初始数据量为1亿，分别增量”追加“100w、500w性能情况：
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1亿 | 25 | 2084s | 100w | 434s | 4.8倍 |
500W | 584s | 3.5倍 |
场景3：在[orders]表中，初始数据量为1000w，分别增量”更新与插入“100w、500w性能情况：
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1000w | 25 | 263s | 100w | 140s | 1.9倍 |
500W | 234s | 1.1倍 |
场景4：在[orders]表中，初始数据量为1亿，分别增量”更新与插入“100w、500w性能情况：
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1亿 | 25 | 2084s | 100w | 740s | 2.8倍 |
500W | 904s | 2.3倍 |
+ 数据模型缓存支持设置失效时间
...
在最新版本中，对数据模型直连模式下的缓存策略进行了增强：在新版本中，对数据模型直连模式下的缓存策略进行了增强：
- 支持清空单个模型的缓存。
- 支持设置缓存有效时长：在设定的时间范围内，如果查询字段或条件值没有变化，再次访问将直接从缓存中获取数据，可以显著提升报表的访问速度，并有效减轻数据库的压力。详细可查看：缓存设置。
< 数据模型在抽取模式下默认开启缓存
...
在最新版本中，数据模型抽取模式下的缓存策略进行了优化：默认启用缓存，不支持禁用缓存；当数据模型更新或重新抽取数据时，系统会自动清理旧缓存，确保数据始终新鲜。详细可查看：在新版本中，优化了数据模型抽取模式下的缓存策略：默认启用缓存，且不提供禁用缓存选项。当数据模型更新或重新抽取数据时，系统会自动清理旧缓存，确保数据始终保持新鲜。详细可查看：缓存设置。
< 数据模型“按次抽取”改成“查询动态抽取”并且增加数据有效期
...
原有的“按次抽取”实现了在报表查询时根据用户提供的参数值进行动态数据抽取；为了用户更容易理解，在最新版本中，将“按次抽取”改成“查询动态抽取”并允许用户在每个表原有的“按次抽取”在报表查询时根据用户提供的参数值实现了动态数据抽取。为了用户更容易理解，新版本中将“按次抽取”更名为“查询动态抽取”，并新增了在每个表/查询设置数据有效期，一旦超过设定的有效期，查询报表时将会自动重新抽取数据，确保数据的新鲜度以及时效性。详细可查看：查询上设置数据有效期的功能。一旦超过设定有效期，查询报表时将自动重新抽取数据，以确保数据的新鲜度和时效性。详细可查看：直连&抽取。
^ 数据模型生成日期表时自动标记时间维度
...
在最新版本中，生成日期表时，系统将自动标记带有年份信息的字段（如年、年季、年月）为时间维度；这一改进旨在减少用户的手动操作，提升用户体验，避免忘记标记或错误标记生成时间维度的情况。详细可查看：在新版本中，生成日期表时，系统会自动将包含年份信息的字段（如年、季度、年月等）标记为时间维度。此改进旨在减少用户的手动操作，提高用户体验，避免遗漏或错误标记时间维度的情况。详细可查看：创建时间维。
^ 计算列表达式校验增强
...
最新版本中，在编写计算列表达式时，增强了内置函数的校验提示，包括但不限于格式、语法校验，以及对统一函数的参数个数、顺序、类型的检查，让用户可以及时发现并修正错误，从而减少调试时间，提升整体的工作效率和用户体验。详细可查看：在新版本中，编写计算列表达式时增强了内置函数的校验提示，包括格式和语法校验，以及对统一函数参数的个数、顺序和类型的检查等。这使用户能够及时发现和修正错误，从而减少调试时间，提高整体工作效率和用户体验。详细可查看：创建计算列 。
3.
...
4 自助ETL
+ ETL关系目标源支持Doris
...
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。详情可查看：自助ETL-关系目标源 。
| 信息 |
|---|
Doris数据库：只能支持 内catalog [即名称为Internal的catalog] 。 |
3.
...
5 交互式仪表盘
^ 仪表盘主题选择面板优化
...
本次更新优化了仪表盘主题选择面板的可视化展示及信息分类，改善了旧面板信息呈现局促，内容杂乱的情况，优化了用户的使用体验。
通过主题缩略图能更直观的了解主题的展示效果。针对近期更新的主题，增加了【主题使用说明】，帮助用户更好的使用主题搭建仪表盘。通过主题缩略图能更直观的了解主题的展示效果。
针对近期更新的主题，增加了”主题使用说明“，给予用户主题使用建议，帮助用户搭建美观的仪表盘看板。
将系统主题按照”内置将主题划分为”内置"、“更多”、"自定义"进行分类展示，面板信息呈现更清晰。通过点击左侧分类可快速定位到对应内容，带来了更方便的使用感受。三个分类进行展示。”内置“和“更多”分类下显示的是产品内置主题，“自定义”分类下显示的是用户自己定义的主题。通过点击左侧分类可快速定位到对应内容，带来了更方便的使用感受。
< 仪表盘默认主题变更
...
3.
...
6 即席查询&透视分析
+ 透视分析支持批量选择表字段
...
透视分析新增全选子节点、全选子孙节点、反选子节点等批量选择字段功能，可协助用户快速完成字段选择，提高数据分析效率。同时优化即席查询中相关菜单项。透视分析新增全选子节点、全选子孙节点、反选子节点等批量选择字段功能，可协助用户快速完成字段选择，提高数据分析效率。同时，本次更新也进一步优化了即席查询的批量选择字段功能。
3.
...
7 Web电子表格
+ Web电子表格新增“分组字段显示方式”
...
Web电子表格新增“分组字段显示方式“设置项，支持设置分组字段是否合并单元格显示，满足按列表形式和分组形式展示汇总数据的两种业务场景。
预览效果预览效果：
3.
...
8 公共模块
+ 新增短信配置
...
新增短信配置，支持接入短信服务平台，以满足各种业务场景下的短信发送需求，如通过短信验证码重置密码等场景。详情可查看：信息推送渠道-短信。
^ 系统选项-用户密码管理
...
在新版本中，我们持续增强用户密码管理功能，以提升系统整体的安全性，包括：在新版本中，我们进一步增强了用户密码管理功能，以提升系统的整体安全性，包括：
- 增加“忘记密码”功能，允许用户通过其他验证方式找回或重置密码，以确保账户的可访问性和安全性。
- 增加“
...
- 密码修改验证”功能，确保只有合法用户才能更改其账户密码，从而提高账户安全性并保护用户隐私。
详情可查看：用户管理-用户密码管理 。
^ 数据准备模块的菜单顺序优化
...
根据使用频率优化数据准备模块的菜单顺序，使常用功能更便捷，提升操作效率。根据使用频率调整数据准备模块的菜单顺序，使常用功能更加便捷，从而提升操作效率。
^ config界面集群配置优化
...
confif界面集群配置部分存在布局杂乱、难以使用的问题，在新版本中优化集群设置项的布局排版，使配置界面更加整洁，提高使用体验。由于以前config配置界面集群配置部分存在布局杂乱和不易于用户使用的问题，新版本中对集群设置项的布局进行了优化，使配置界面更加整洁，提升了用户体验。
4 详细变更内容
< ETL关系目标数据源使用的资源权限细化
...
优化前：ETL的关系目标旧版本中：ETL的关系目标数据源需要整个数据源节点编辑权限才能显示，权限比较大，较难实现权限细化。
优化后：有表或者SCHEMA的编辑权限即可做相关操作，详细逻辑调整见下方图片。新版本中：有表或者SCHEMA的编辑权限即可做相关操作，详细逻辑调整见下方图片。
升级影响：
- 原来能使用ETL目标数据源相关节点操作的用户：
- 如果只是设置了数据源的权限，对数据源下的子节点未做特殊设置，升级后可正常使用。
- 如果设置了数据源的权限，同时对数据源下的子节点做了权限设置，只允许查看等，升级后不能正常使用，需要重新分配SCHEMA及表的编辑权限。
- 原来不能使用ETL目标数据源相关节点操作的用户：
- 如果用户有SCHEMA或者是表的编辑权限，升级后可以使用相关ETL目标数据源操作对应数据库表。
< 仪表盘默认主题变更
...
本次更新变更了仪表盘默认主题，默认主题由《绚丽浅色-大屏》变更为《时尚浅蓝》。如果想使用变更前的仪表盘主题，可以在【更多】主题分类下进行主题切换，选中《绚丽浅色-大屏》即可。
< 交互式仪表盘参数组件支持自定义设置应用范围
...
在旧版本中，数据模型上定义的参数默认应用于仪表盘内所有相关业务数据集组件，并且无法选择不应用。然而，在实际项目中，有些参数仅用于复杂计算表达式（例如计算度量或命名集），并不直接影响查询中的数据，在这种情况下，用户可能不希望这些参数必须应用于所有组件，以避免不必要的查询请求。因此，在新版本中，我们改进了参数组件的应用范围设置，允许用户自定义配置哪些组件将受到特定参数的影响。
...
