页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 44 下一个 »

1 发布月份

2024年 11月

2 更新概览

1、

3 详细更新内容

+表示新增,^表示增强,<表示变更

3.1 数据连接

+ 新增适配星环ArgoDB业务库


星环ArgoDB是一款企业级的分布式数据库,它结合了多种数据处理技术的优点,旨在提供高效、灵活的数据管理和分析能力,是信创产业的优秀产品。详情可查看:星环ArgoDB数据连接

3.2 数据准备

+ 指标模型的指标存储库支持多个数据库


为了应对更多的客户环境需求,指标模型的指标存储库新增支持Greenplum星环ArgoDB数据库,详情可查看:创建指标模型 。

+ 数据模型支持增量抽取


目前数据模型针对大数据量处理只能全量抽取,每次抽取都要抽很久,效率很低;为了解决这个问题,在最新版本中,数据模型增加了增量抽取,相比全量抽取,增量抽取只需要处理新增或变动的数据,这大大减少了数据处理的时间,提高了数据同步的效率。详细可查看:增量抽取

性能对比报告: 硬件配置: 内存8G,CPU8核;测试数据库: MySQL 8.0。

场景1:在[orders]表中,初始数据量为1000w,分别增量“追加”100w、500w性能情况:

表名称

原始数据

列数

全量抽取耗时

增量数据

增量抽取耗时

抽取提升效率

orders

1kw

25

263s

100w

98s

2.7倍

500W

186s

1.4倍


场景2:在[orders]表中,初始数据量为1亿,分别增量”追加“100w、500w性能情况:

表名称

原始数据

列数

全量抽取耗时

增量数据

增量抽取耗时

抽取提升效率

orders

1亿

25

2084s

100w

434s

4.8倍

500W

584s

3.5倍

场景3:在[orders]表中,初始数据量为1000w,分别增量”更新与插入“100w、500w性能情况:

表名称

原始数据

列数

全量抽取耗时

增量数据

增量抽取耗时

抽取提升效率

orders

1000w

25

263s

100w

140s

1.9倍

500W

234s

1.1倍

场景4:在[orders]表中,初始数据量为1亿,分别增量”更新与插入“100w、500w性能情况:

表名称

原始数据

列数

全量抽取耗时

增量数据

增量抽取耗时

抽取提升效率

orders

1亿

25

2084s

100w

740s

2.8倍

500W

904s

2.3倍



+ 数据模型缓存支持设置失效时间


在最新版本中,对数据模型直连模式下的缓存策略进行了增强:

  • 支持清空单个模型的缓存
  • 支持设置缓存有效时长:在设定的时间范围内,如果查询字段或条件值没有变化,再次访问将直接从缓存中获取数据,可以显著提升报表的访问速度,并有效减轻数据库的压力。详细可查看:缓存设置



< 数据模型在抽取模式下默认开启缓存


在最新版本中,数据模型抽取模式下的缓存策略进行了优化:默认启用缓存,不支持禁用缓存;当数据模型更新或重新抽取数据时,系统会自动清理旧缓存,确保数据始终新鲜详细可查看:缓存设置



< 数据模型“按次抽取”改成“查询动态抽取”并且增加数据有效期


原有的“按次抽取”实现了在报表查询时根据用户提供的参数值进行动态数据抽取;为了用户更容易理解,在最新版本中,将“按次抽取”改成“查询动态抽取”并允许用户在每个表/查询设置数据有效期,一旦超过设定的有效期,查询报表时将会自动重新抽取数据,确保数据的新鲜度以及时效性。详细可查看:直连&抽取


^ 数据模型生成日期表时自动标记时间维度


在最新版本中,生成日期表时,系统将自动标记带有年份信息的字段(如年、年季、年月)为时间维度;这一改进旨在减少用户的手动操作,提升用户体验,避免忘记标记或错误标记生成时间维度的情况。详细可查看:创建时间维

计算列表达式校验增强


最新版本中,在编写计算列表达式时,增强了内置函数的校验提示,包括但不限于格式、语法校验,以及对统一函数的参数个数、顺序、类型的检查,让用户可以及时发现并修正错误,从而减少调试时间,提升整体的工作效率和用户体验。详细可查看:创建计算列 

3.2 自助ETL

+ ETL关系目标源支持Doris


Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。详情可查看:自助ETL-关系目标源 。

Doris数据库:只能支持 内catalog [即名称为Internal的catalog] 。

3.3 交互式仪表盘

仪表盘主题选择面板优化


本次更新优化了仪表盘主题选择面板的可视化展示及信息分类,改善了旧面板信息呈现局促,内容杂乱的情况,优化了用户的使用体验。

  • 通过主题缩略图能更直观的了解主题的展示效果。针对近期更新的主题,增加了【主题使用说明】,帮助用户更好的使用主题搭建仪表盘。

  • 将系统主题按照”内置"、“更多”、"自定义"进行分类展示,面板信息呈现更清晰。通过点击左侧分类可快速定位到对应内容,带来了更方便的使用感受。

仪表盘默认主题变更


本次更新变更了仪表盘默认主题,默认主题由《绚丽浅色-大屏》变更为《时尚浅蓝》。

3.4 即席查询&透视分析

+ 透视分析支持批量选择表字段


透视分析新增全选子节点、全选子孙节点、反选子节点等批量选择字段功能,可协助用户快速完成字段选择,提高数据分析效率。同时优化即席查询中相关菜单项。

3.5 Web电子表格

+Web电子表格新增“分组字段显示方式”


Web电子表格新增“分组字段显示方式“设置项,支持设置分组字段是否合并单元格显示,满足按列表形式和分组形式展示汇总数据的两种业务场景。

预览效果



3.6 公共模块

+ 新增短信配置


新增短信配置,支持接入短信服务平台,以满足各种业务场景下的短信发送需求,如通过短信验证码重置密码等场景。

详情可查看:信息推送渠道-短信



^ 系统选项-用户密码管理


在新版本中,我们持续增强用户密码管理功能,以提升系统整体的安全性,包括:

  1. 增加“忘记密码”功能,允许用户通过其他验证方式找回或重置密码,以确保账户的可访问性和安全性。
  2. 增加“密码修改验证”功能,确保只有合法用户才能更改其账户密码,从而增强账户的安全性和保护用户隐私

详情可查看:用户管理-用户密码管理 。


^ 数据准备模块的菜单顺序优化


根据使用频率优化数据准备模块的菜单顺序,使常用功能更便捷,提升操作效率。


^ config界面集群配置优化


confif界面集群配置部分存在布局杂乱、难以使用的问题,在新版本中优化集群设置项的布局排版,使配置界面更加整洁,提高使用体验。




4 详细变更内容

< ETL关系目标数据源使用的资源权限细化


优化前:ETL的关系目标数据源需要整个数据源节点编辑权限才能显示,权限比较大,较难实现权限细化。

优化后:有表或者SCHEMA的编辑权限即可做相关操作,详细逻辑调整见下方图片。

升级影响:

  1. 原来能使用ETL目标数据源相关节点操作的用户:
    1. 如果只是设置了数据源的权限,对数据源下的子节点未做特殊设置,升级后可正常使用。
    2. 如果设置了数据源的权限,同时对数据源下的子节点做了权限设置,只允许查看等,升级后不能正常使用,需要重新分配SCHEMA及表的编辑权限。
  2. 原来不能使用ETL目标数据源相关节点操作的用户:
    1. 如果用户有SCHEMA或者是表的编辑权限,升级后可以使用相关ETL目标数据源操作对应数据库表。


< 交互式仪表盘参数组件支持自定义设置应用范围


在旧版本中,数据模型上定义的参数默认应用于仪表盘内所有相关业务数据集组件,并且无法选择不应用。然而,在实际项目中,有些参数仅用于复杂计算表达式(例如计算度量或命名集),并不直接影响查询中的数据,在这种情况下,用户可能不希望这些参数必须应用于所有组件,以避免不必要的查询请求。因此,在新版本中,我们改进了参数组件的应用范围设置,允许用户自定义配置哪些组件将受到特定参数的影响。

当组件的数据依赖于数据模型的参数,并且在仪表盘上取消了参数对该组件的应用时,该组件将使用数据模型参数的默认值来刷新其数据。


  • 无标签