页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

1 更新周期

2023年4月~2024年1月

2 详细更新内容

所有更新内容在V10.5.15最新版本实现

2.1 数据连接

新增多个数据库兼容

...

新增 关系型数据源新增 关系型数据源-PanWeiDB数据连接、适配SelectDB、GuessDB作为Smartbi高速缓存库。PanWeiDB数据连接、适配SelectDB、GuessDB作为Smartbi高速缓存库。

...

2.2 数据模型

^ 调整模型视图关系展现样式

调整数据模型关系视图展示:由原来的左右连接的图标展示,改成使用筛选方向箭头表示,让其看起来让直观易容,更贴合取数逻辑。

...

支持假设引用完整性设置

...

在直连模式下,勾选该设置项: 取数的SQL 是inner join; 没有勾选: A left join B,B left join A,满足更多合取数场景。

Image Added



^ 参数支持配置是否 "默认生效"

...

为了在查询时能按需取数,即当取数子图没有选择关联了参数的表或查询时,参数不默认生效。数据模型的参数管理中新增设置项控制参数是否默认生效,用户可按需配置,详见:参数设置为了在查询时能按需取数,即当取数子图没有选择关联了参数的表或查询时,参数不默认生效。数据模型的参数管理中新增设置项控制参数是否默认生效,用户可按需配置。


^ 压缩空行逻辑优化

...

优化压缩空行的逻辑,保证原始数据存在空行,数据不会压缩掉,仅压缩由构建模型拼接出来的空行。

...

不管是数值字段还是字符串字段,当汇总依据切换为:计数、唯一计数时,字段本身表达的业务意义改变了,所以不进行脱敏更符合业务要求,而其他的汇总依据类型依然保持原有的脱敏效果,详见:脱敏规则


脱敏规则新增对数值型数据的脱敏

...

支持数值型字段进行脱敏,脱敏支持字符替换、区间归一缩放,脱敏之后能正常作图,导出也是脱敏后的数据,详细请查看:脱敏规则

     

^ 数据模型支持配置字段的转换规则

数据模型支持了转换规则,详情可查看:数据模型转换规则介绍

     


^ 数据模型其他功能优化

...

  • 下拉树参数支持排序。
  • 抽取支持分桶分区(仅限星环数据库)。

2.2 指标模型

^ 支持单独迁移维度、指标等资源

指标体系在建设过程中,一般是迭代开发模式,逐步开发测试、增量上线,需要在测试环境和生产环境中增量迁移指标、维度等资源。

在新版本中,指标模型中的维度、指标、维表、事实表和数据模型,都可以作为独立的资源通过资源导入导出的方式进行资源迁移。

...


2.3 自助ETL

+ 新增数据接入和数据输出的类型

...

为了满足更多项目的场景,在新版本中,自助ETL支持更多的数据源和目标数据源类型。

  • 新增支持的数据库:TiDB、PanWeiDB、YMatrix、阿里云MaxCompute、Elasticsearch、MongoDB;
  • 新增API取数节点,用于读取API数据;
  • TiDB、PanWeiDB
  • 目标源连接星环数据库时,支持新建表到星环数据库中。

Image RemovedImage Added

+

...

【挖掘】节点能够自动连接

...

在合并行的场景中,需要通过不同的集合操作方式,满足多种合并需求场景。在新版本中合并行的集合操作配置提供四种操作:交集、差集、并集和异或。添加了节点自动布局功能,能够让用户更加专注于建模。

Image Removed

^ 合并行优化选择列弹窗新增列匹配机制

为了使列匹配更加灵活和易用,新增自定义列匹配机制功能。列匹配提供以下方式按别名自动匹配、按别名自动匹配、按位置自动匹配和手动配置字段。

Image Removed

+ 列选择/转行节点新增正则匹配

在列数较多或者前节点输出列不固定的情况下,都可以使用正则匹配的方式进行列选择,使选择列方式更加灵活。

Image Removed

数据处理支持XML解析

为了丰富ETL的数据处理节点功能,新增了XML解析,用于XML的解析

Image Removed

小批量支持自动运行

为了简化操作流程,在小批量配置情况下,大部分数据源支持自动执行节点。

  • 在首次配置数据源节点时,如果读取配置为小批量且该数据源支持小批量,那么配置完数据源节点后会自动执行节点;
  • 在配置为小批量且该数据源支持小批量前提下,修改数据源节点参数后,也会自动执行节点。

Image Removed

全局执行增加是否使用缓存选项

在全部执行时,希望能够不使用缓存,否则数据会没有任何变化。

ETL全局执行增加执行策略:不使用缓存执行、使用系统默认设置。在不使用缓存时,执行会重新运行所有节点。

Image Removed

历史记录支持恢复

在实际项目场景中,经常会遇到ETL最新图被修改问题,如果想恢复之前的图,只能重新拖一遍,比较繁琐。

在新版本中,支持在历史信息中恢复按钮则把该历史覆盖掉当前ETL流程图,且支持导出历史ETL流程图。

Image Removed

画布工具栏中移动画布按钮支持画布拖拽

通过滚动条来调整ETL流程图的位置操作起来不方便,为了简化拖拽方式,增加鼠标的拖拽方式。当画布中的鼠标指针为十字箭头时,表示当前为拖拽功能。

Image Removed

节点目录支持改名称

在实际项目场景中,经常会有修改节点目录名称的需求,增加节点目录修改名称满足了定制化需求。支持对节点树进行目录新建、名称修改、移动、隐藏操作

Image Removed

+ SQL函数支持通过EXCEL导入方式增加

Spark SQL函数列表增加EXCEL导入功能,方便用户进行维护,如果需要进一步丰富内置Spark SQL函数,可以通过此方法补充更多Spark SQL函数。

Image Removed

+ ETL增强或优化的功能

  • etl 目标表节点支持星环数据库建表。
  • 数据源表节点支持磐维数据库-panweidb

Image Added

当不需要自动连线功能时,可以在当前ETL中的如下入口禁用。或者可以配置系统选项:DISABLE_AUTO_CONNECTION=true

Image Added

+【挖掘】增加在线节点开发功能

...

增加了在线节点开发功能,可以将部分可复用的SQL封装成预制节点进行复用,开发完成后和产品中预制节点使用方式一样。该功能入口在系统运维界面中,在/系统运维/数据挖掘配置/引擎配置/在线节点开发下,能够支持基础的配置选项,并且通过SQL来实现简单的数据处理逻辑。节点在线开发编辑界面如下:

Image Added

使用在线自定义节点:

Image Added

2.4 交互式仪表盘


^ 形组件支持使用命名集字段作图

...

图形组件支持使用命名集字段作图。

Image RemovedImage Added



仪表盘跳转规则优化

...

对交互式仪表盘的跳转规则功能进行系列优化调整,满足更多交互分析的场景,主要优化的内容如下:

  • 跳转规则支持调整顺序,详见:组件跳转
  • 跳转规则打开方式选择“浮动框”时,浮动框大小支持自定义设置,详见:组件跳转

...

  • 跳转规则支持调整顺序。
  • 跳转规则打开方式选择“浮动框”时,浮动框大小支持自定义设置。

Image Added


^ 表格组件的优化

...

  • 表格组件增加了显示序号和页码功能,满足更多表格展示要求。详见:表格组件增加了显示序号功能,满足更多表格展示要求。详见:汇总表明细表交叉表
  • 仪表盘表格组件支持分页设置.

      Image RemovedImage Added

2.5 即席查询

即席查询支持分页

...

即席查询支持页面,源默认是“鼠标滚动分页”,新建的资源才默认“分页控件”。

2.6 Web电子表格


+ 支持回写填报设置

...

回写是是指用户在报表端可以直接增加、删除和修改数据并保存到指定的数据库中,适用于数据补录或回写填报的业务需求。

Web电子表格可以通过设置 填报属性  回写规则 实现报表数据的回写填报,详见:回写实现报表数据的回写填报。


单元格属性支持设置数据为空时显示方式

...

单元格属性中支持设置数据为空时,内容的显示效果,满足更多固定报表的展示要求。

...

Web电子表格支持表头表尾属性设置,用于设置表头表尾固定,可实现翻页重复显示标题行列的效果详见:单元格属性


web电子表格--字段单元格属性设置支持排序

...

 

web电子表格--支持表头表尾属性设置

Image Removed

         


web电子表格--分组表支持区域设置

...

   


web电子表格--支持单元格格式设置

...

Image Modified

   

web电子表格--字段单元格属性设置支持结果集筛选

...

Image Modified

web电子表格--字段单元格属性设置支持是否使用显示值

...

Image Modified


^ web电子表格其他优化

...

  • 【web电子表格】支持导入Excel文件模板

2.7 公共模块

报表导出优化-支持带格式导出、自定义导出文件名等

...

  • 导出时支持带格式、不带格式导出。

  • 导出execl时,最大行数受系统选项控制。

  • 导出文件名:默认自动生成,用户可更改成含有业务含义的名称。

Image RemovedImage Added


水印功能的优化

...

全局水印设置增加倾斜度设置,满足更多水印场景;并且Web电子表格支持独立水印设置,默认以全局水印设置为准。可根据实际场景自定义水印以及禁用水印。

...

  • 增加知识库索引与主键的检查及修复,解决知识库索引丢失、主键丢失等问题,保证系统功能正常使用。
  • 增强跟踪日志,若系统宕机了,能更方便地跟踪宕机前用户执行了什么操作。
  • 资源导入导出逻辑修改,详情可查看:资源导入导出逻辑,实现数据格式自定义选择导入,详情可查看:导入资源-导入数据格式