当时开向杏花後,今日绽当梅萼前。不畏雪霜何太甚,繁英如火满枝燃。
1 发布月份
2024年 11月
2 更新概览
1、。增量抽取能力的提升:数据模型新增支持增量抽取,这一改进显著提升了在大数据量环境下的数据抽取效率,确保用户能够更快速地获取所需数据。
2、强化数据安全性:为了进一步增强系统的安全防护,我们增加了忘记密码功能,并支持接入短信服务平台,以满足更多项目场景。
3、增强缓存管理:对数据模型的缓存功能进行了全面增强,兼顾了数据的时效性与查询性能,让数据查询变得更加高效流畅。
4、优化用户体验:改进了仪表盘主题选择面板,提供可视化展示效果和使用说明;透视分析新增批量选择表字段功能;Web电子表格支持设置分组字段是否合并单元格显示等。
5、更强数据库兼容性:新版本在指标模型、自助ETL等模块上兼容更多数据库,显著提升数据接入能力,满足不同用户的多样化需求。
3 详细更新内容
+表示新增,^表示增强,<表示变更。
...
场景1:在[orders]表中,初始数据量为1000w,分别增量“追加”100w、500w性能情况:
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1kw | 25 | 263s | 100w | 98s | 2.7倍 |
500W | 186s | 1.4倍 |
场景2:在[orders]表中,初始数据量为1亿,分别增量”追加“100w、500w性能情况:
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1亿 | 25 | 2084s | 100w | 434s | 4.8倍 |
500W | 584s | 3.5倍 |
场景3:在[orders]表中,初始数据量为1000w,分别增量”更新与插入“100w、500w性能情况:
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1000w | 25 | 263s | 100w | 140s | 1.9倍 |
500W | 234s | 1.1倍 |
场景4:在[orders]表中,初始数据量为1亿,分别增量”更新与插入“100w、500w性能情况:
表名称 | 原始数据 | 列数 | 全量抽取耗时 | 增量数据 | 增量抽取耗时 | 抽取提升效率 |
orders | 1亿 | 25 | 2084s | 100w | 740s | 2.8倍 |
500W | 904s | 2.3倍 |
+ 数据模型缓存支持设置失效时间
...
在新版本中,对数据模型直连模式下的缓存策略进行了增强:
...
本次更新优化了仪表盘主题选择面板的可视化展示及信息分类,改善了旧面板信息呈现局促,内容杂乱的情况,优化了用户的使用体验。
通过主题缩略图能更直观的了解主题的展示效果。
针对近期更新的主题,增加了【主题使用说明】,帮助用户更好的使用主题搭建仪表盘。针对近期更新的主题,增加了”主题使用说明“,给予用户主题使用建议,帮助用户搭建美观的仪表盘看板。
将系统主题按照”内置将主题划分为”内置"、“更多”、"自定义"进行分类展示,“内置”和“更多”分类下为产品内置主题,“自定义”分类下为用户面板信息呈现更清晰。通过点击左侧分类可快速定位到对应内容,带来了更方便的使用感受。三个分类进行展示。”内置“和“更多”分类下显示的是产品内置主题,“自定义”分类下显示的是用户自己定义的主题。通过点击左侧分类可快速定位到对应内容,带来了更方便的使用感受。
< 仪表盘默认主题变更
本次更新变更了仪表盘默认主题,默认主题由《绚丽浅色-大屏》变更为《时尚浅蓝》。如果想使用变更前的仪表盘主题,可以在【更多】主题分类下进行主题切换,选中《绚丽浅色-大屏》即可。
3.6 即席查询&透视分析
+ 透视分析支持批量选择表字段
...
在新版本中,我们进一步增强了用户密码管理功能,以提升系统的整体安全性,包括:
- 增加“忘记密码”功能,允许用户通过其他验证方式找回或重置密码,以确保账户的可访问性和安全性。
- 增加“密码修改验证”功能,确保只有合法用户才能更改其账户密码,从而提高账户安全性并保护用户隐私。
详情可查看:用户管理-用户密码管理 。
^ 数据准备模块的菜单顺序优化
...
4 详细变更内容
< ETL关系目标数据源使用的资源权限细化
...
优化前:ETL的关系目标旧版本中:ETL的关系目标数据源需要整个数据源节点编辑权限才能显示,权限比较大,较难实现权限细化。
优化后:有表或者SCHEMA的编辑权限即可做相关操作,详细逻辑调整见下方图片。新版本中:有表或者SCHEMA的编辑权限即可做相关操作,详细逻辑调整见下方图片。
升级影响:
- 原来能使用ETL目标数据源相关节点操作的用户:
- 如果只是设置了数据源的权限,对数据源下的子节点未做特殊设置,升级后可正常使用。
- 如果设置了数据源的权限,同时对数据源下的子节点做了权限设置,只允许查看等,升级后不能正常使用,需要重新分配SCHEMA及表的编辑权限。
- 原来不能使用ETL目标数据源相关节点操作的用户:
- 如果用户有SCHEMA或者是表的编辑权限,升级后可以使用相关ETL目标数据源操作对应数据库表。
< 仪表盘默认主题变更
...
本次更新变更了仪表盘默认主题,默认主题由《绚丽浅色-大屏》变更为《时尚浅蓝》。如果想使用变更前的仪表盘主题,可以在【更多】主题分类下进行主题切换,选中《绚丽浅色-大屏》即可。
< 交互式仪表盘参数组件支持自定义设置应用范围
...
在旧版本中,数据模型上定义的参数默认应用于仪表盘内所有相关业务数据集组件,并且无法选择不应用。然而,在实际项目中,有些参数仅用于复杂计算表达式(例如计算度量或命名集),并不直接影响查询中的数据,在这种情况下,用户可能不希望这些参数必须应用于所有组件,以避免不必要的查询请求。因此,在新版本中,我们改进了参数组件的应用范围设置,允许用户自定义配置哪些组件将受到特定参数的影响。
...