"晨起开门雪满山,雪晴云淡日光寒"。在这寒风凛冽的时光里,让我们看看Smartbi 产品近期都有哪些更新与增强。
1 更新周期
2023年 8~12月2023年4月~2024年1月
2
...
详细更新内容
2.1 数据接入增强
- 重点满足国产化需求,新增多个数据库兼容:PanWeiDB、SelectDB等。
- 支持
- 编辑Excel导入文件导入时可新增列。
2.2 数据准备增强
- 数据模型增加双向筛选能力,解决事实表能筛选维表数据的问题。
- 优化数据模型的使用操作,包括:表关系视图更贴合业务逻辑、自定义计算列新增50+函数支持等。
- 指标模型支持单独迁移维度、指标、事实表等指标模型对象,保障指标体系的迭代更新。
- 丰富了ETL数据接入和数据输出的类型,包括:mongodb、elasticsearch、阿里云MaxCompute、API取数等。
- 增强ETL数据处理能力,包括:合并行节点新增集合运算、 支持XML解析等。
2.3 仪表盘增强
- 新增指标拆解树图表组件,新增多选输入筛选器组件
- 增强表格组件,包括显示序号、分页控件、表格内容换行等。
- 增强图形组件,包括瀑布图显示总计、坐标轴刻度可触发跳转等。
- 增强筛选器组件,包括多选组件支持模糊匹配、页面筛选器配置区操作优化等。
- 优化仪表盘制作时的操作体验,增加等比缩放到最佳比例的展示方式等。
- 增强交互功能:支持多个跳转规则执行顺序调整,组件联动时传递颜色、标签等所有维度值等。
- 支持手机端自定义筛选器的显示位置:可设置显示在页面内部还是页面右上角独立面板。
2.4 自助分析/电子表格增强
- 即席查询、透视分析增加“跳转规则”能力。
- Web电子表格支持 回写填报、支持表头表尾设置、报表单独设置水印等。
- 报表导出全面增强,支持是否带数据格式导出、导出文件名自定义等
3 详细更新内容
...
所有更新内容在V10.5.15最新版本实现
2.1 数据连接
+ 新增多个数据库兼容
新增 关系型数据源-PanWeiDB数据连接、适配SelectDB、GuessDB作为Smartbi高速缓存库。
...
新增 关系型数据源-PanWeiDB数据连接、适配SelectDB、GuessDB作为Smartbi高速缓存库。
2.2 数据模型
^ 调整模型视图关系展现样式
调整数据模型关系视图展示:由原来的左右连接的图标展示,改成使用筛选方向箭头表示,让其看起来让直观易容,更贴合取数逻辑。
+ 增加双向筛选
表关系新增双向筛选方向,可实现表与表之间相互筛选数据的效果,请详见:双向筛选介绍。
支持假设引用完整性设置
...
在直连模式下,勾选该设置项: 取数的SQL 是inner join; 没有勾选: A left join B,B left join A,满足更多合取数场景。
^ 参数支持配置是否 "默认生效"
...
为了在查询时能按需取数,即当取数子图没有选择关联了参数的表或查询时,参数不默认生效。数据模型的参数管理中新增设置项控制参数是否默认生效,用户可按需配置,详见:参数设置。为了在查询时能按需取数,即当取数子图没有选择关联了参数的表或查询时,参数不默认生效。数据模型的参数管理中新增设置项控制参数是否默认生效,用户可按需配置。
^ 压缩空行逻辑优化
...
优化压缩空行的逻辑,保证原始数据存在空行,数据不会压缩掉,仅压缩由构建模型拼接出来的空行。
...
不管是数值字段还是字符串字段,当汇总依据切换为:计数、唯一计数时,字段本身表达的业务意义改变了,所以不进行脱敏更符合业务要求,而其他的汇总依据类型依然保持原有的脱敏效果,详见:脱敏规则。
+ 脱敏规则新增对数值型数据的脱敏
...
支持数值型字段进行脱敏,脱敏支持字符替换、区间归一缩放,脱敏之后能正常作图,导出也是脱敏后的数据,详细请查看:脱敏规则。
...
数据模型支持了转换规则,详情可查看:数据模型转换规则介绍。
^ 数据模型其他功能优化
...
- 下拉树参数支持排序。
- 抽取支持分桶分区(仅限星环数据库)。
...
2.3
...
^ 支持单独迁移维度、指标等资源
指标体系在建设过程中,一般是迭代开发模式,逐步开发测试、增量上线,需要在测试环境和生产环境中增量迁移指标、维度等资源。
在新版本中,指标模型中的维度、指标、维表、事实表和数据模型,都可以作为独立的资源通过资源导入导出的方式进行资源迁移。
...
自助ETL
+ 新增数据接入和数据输出的类型
...
为了满足更多项目的场景,在新版本中,自助ETL支持更多的数据源和目标数据源类型。
- 新增支持的数据库:TiDB、PanWeiDB、YMatrix、阿里云MaxCompute、Elasticsearch、MongoDB;
- 新增API取数节点,用于读取API数据;
- TiDB、PanWeiDB;
- 目标源连接星环数据库时,支持新建表到星环数据库中。
+
...
【挖掘】节点能够自动连接
...
在合并行的场景中,需要通过不同的集合操作方式,满足多种合并需求场景。在新版本中合并行的集合操作配置提供四种操作:交集、差集、并集和异或。添加了节点自动布局功能,能够让用户更加专注于建模。
^ 合并行优化选择列弹窗新增列匹配机制
为了使列匹配更加灵活和易用,新增自定义列匹配机制功能。列匹配提供以下方式:按别名自动匹配、按别名自动匹配、按位置自动匹配和手动配置字段。
+ 列选择/转行节点新增正则匹配
在列数较多或者前节点输出列不固定的情况下,都可以使用正则匹配的方式进行列选择,使选择列方式更加灵活。
+ 数据处理支持XML解析
为了丰富ETL的数据处理节点功能,新增了XML解析,用于XML的解析。
^ 小批量支持自动运行
为了简化操作流程,在小批量配置情况下,大部分数据源支持自动执行节点。
- 在首次配置数据源节点时,如果读取配置为小批量且该数据源支持小批量,那么配置完数据源节点后会自动执行节点;
- 在配置为小批量且该数据源支持小批量前提下,修改数据源节点参数后,也会自动执行节点。
^ 全局执行增加是否使用缓存选项
在全部执行时,希望能够不使用缓存,否则数据会没有任何变化。
ETL全局执行增加执行策略:不使用缓存执行、使用系统默认设置。在不使用缓存时,执行会重新运行所有节点。
^ 历史记录支持恢复
在实际项目场景中,经常会遇到ETL最新图被修改问题,如果想恢复之前的图,只能重新拖一遍,比较繁琐。
在新版本中,支持在历史信息中恢复按钮则把该历史覆盖掉当前ETL流程图,且支持导出历史ETL流程图。
^ 画布工具栏中移动画布按钮支持画布拖拽
通过滚动条来调整ETL流程图的位置操作起来不方便,为了简化拖拽方式,增加鼠标的拖拽方式。当画布中的鼠标指针为十字箭头时,表示当前为拖拽功能。
^ 节点目录支持改名称
在实际项目场景中,经常会有修改节点目录名称的需求,增加节点目录修改名称满足了定制化需求。支持对节点树进行目录新建、名称修改、移动、隐藏操作。
+ SQL函数支持通过EXCEL导入方式增加
Spark SQL函数列表增加EXCEL导入功能,方便用户进行维护,如果需要进一步丰富内置Spark SQL函数,可以通过此方法补充更多Spark SQL函数。
3.5 交互式仪表盘
^ 图形组件功能增强
对交互式仪表盘的图形组件功能进行系列优化调整,实现更丰富的图形效果,主要优化的内容如下:
- 图形组件支持使用命名集字段作图。
当不需要自动连线功能时,可以在当前ETL中的如下入口禁用。或者可以配置系统选项:DISABLE_AUTO_CONNECTION=true
+【挖掘】增加在线节点开发功能
...
增加了在线节点开发功能,可以将部分可复用的SQL封装成预制节点进行复用,开发完成后和产品中预制节点使用方式一样。该功能入口在系统运维界面中,在/系统运维/数据挖掘配置/引擎配置/在线节点开发下,能够支持基础的配置选项,并且通过SQL来实现简单的数据处理逻辑。节点在线开发编辑界面如下:
使用在线自定义节点:
2.4 交互式仪表盘
^ 形组件支持使用命名集字段作图
...
图形组件支持使用命名集字段作图。
^ 仪表盘跳转规则优化
...
对交互式仪表盘的跳转规则功能进行系列优化调整,满足更多交互分析的场景,主要优化的内容如下:
...
- 跳转规则支持调整顺序。
- 跳转规则打开方式选择“浮动框”时,浮动框大小支持自定义设置。
^ 表格组件的优化
...
...
2.
...
5 即席查询
^ 即席查询支持分页
...
即席查询支持页面,源默认是“鼠标滚动分页”,新建的资源才默认“分页控件”。
...
2.
...
6 Web电子表格
+ 支持回写填报设置
...
回写是是指用户在报表端可以直接增加、删除和修改数据并保存到指定的数据库中,适用于数据补录或回写填报的业务需求。
Web电子表格可以通过设置 填报属性 和 回写规则 实现报表数据的回写填报,详见:回写。实现报表数据的回写填报。
^ 单元格属性支持设置数据为空时显示方式
...
单元格属性中支持设置数据为空时,内容的显示效果,满足更多固定报表的展示要求。
...
Web电子表格支持表头表尾属性设置,用于设置表头表尾固定,可实现翻页重复显示标题行列的效果。详见:单元格属性。
^ web电子表格--字段单元格属性设置支持排序
...
...
^ web电子表格--
...
...
分组表支持区域设置
...
...
^ web电子表格--支持单元格格式设置
...
^ web电子表格--字段单元格属性设置支持结果集筛选
...
...
^ web电子表格--字段单元格属性设置支持是否使用显示值
...
...
...
^ web电子表格其他优化
...
- 【web电子表格】支持导入Excel文件模板
2.7 公共模块
^ 报表导出优化-支持带格式导出、自定义导出文件名等
...
导出时支持带格式、不带格式导出。
导出execl时,最大行数受系统选项控制。
导出文件名:默认自动生成,用户可更改成含有业务含义的名称。
^ 水印功能的优化
...
全局水印设置增加倾斜度设置,满足更多水印场景;并且Web电子表格支持独立水印设置,默认以全局水印设置为准。可根据实际场景自定义水印以及禁用水印。
^ ^ 系统运维功能优化
...
针对系统运维进行系列调整优化,以保证系统的正常运行,主要优化的内容如下:
- 增加知识库索引与主键的检查及修复,解决知识库索引丢失、主键丢失等问题,保证系统功能正常使用。
- 增强跟踪日志,若系统宕机了,能更方便地跟踪宕机前用户执行了什么操作。
- 资源导入导出逻辑修改,详情可查看:资源导入导出逻辑,实现数据格式自定义选择导入,详情可查看:导入资源-导入数据格式。