"晨起开门雪满山,雪晴云淡日光寒"。在这寒风凛冽的时光里,让我们看看Smartbi 产品近期都有哪些更新与增强。
(包含202309-202312的更新内容)
1 数据连接
1.1 适配“PanWeiDB 磐维数据库”作为 Smartbi业务库和知识库的使用
1.2 适配TiDB作为Smartbi业务库
详见: 关系型数据源-TiDB数据连接。
1.3 适配MogDB 数据库作为Smartbi 业务库
详见:关系型数据源-MogDB数据连接。
1.4 适配YMatrix 作为 Smartbi业务库
1.5 适配SelectDB作为Smartbi高速缓存库
详见:高速缓存库。
1.6 ^SelectDB业务库支持”Excel导入“
详见: 关系型数据源-SelectDB数据连接。
1.7 Excel导入文件支持新增字段
目前PostgreSql、Greenplum、MySQL、高速缓存库(ClickHouse),在Execl导入文件追加数据时,支持新增表格字段,方便变更时调整表结构。
详见:文件。
2 数据准备
2.1 数据模型
2.1.1 调整模型视图关系展现样式
调整数据模型关系视图展示:由原来的左右连接的图标展示,改成使用筛选方向箭头表示,让其看起来让直观易容,更贴合取数逻辑。
2.1.2 增加双向筛选
表关系支持双向筛选,请详见:双向筛选介绍。
2.1.3 添加数据源表界面支持预览
2.1.4 数据模型参数支持 ”选择“性生效
- “默认生效”勾选状态:模型取数子图如包含参数不管有无关联参数的表或查询,这张表或查询都会生效,不会被减枝。
- “默认生效”不勾选状态:即按需取数,取数子图如没有选择关联了参数的表或查询,参数不会被生效。
- 参数拖入到报表中:如果与查询的数据不在同一个子图,无须生效;如果在同一个子图则会生效。
详见:参数设置。
2.1.5 压缩空行逻辑优化
SQL、多维引擎,如果原始数据存在空行,不会压缩掉;由于构建模型拼接出来的空行,会压缩掉。
2.1.6 数据集脱敏规则引用增强
数据集字段引用了脱敏规则,切换汇总依据为计数、唯一计数支持不脱敏。
不管是数值字段还是字符字段,切换聚合方式为:计数、唯一计数,由于他的业务意义改变了,不进行脱敏,但是其他的聚合方式还是要保持脱敏。
详见:脱敏规则。
2.1.7 计算列功能增强
- 支持引用参数、系统函数、用户属性。
- 支持更多常用函数(50+)。
2.2 自助ETL
自助ETL重点详细改进情况如下:
...
...
...
+【ETL】合并行节点中新增集合运算功能
背景介绍
在合并行的场景中,会有集合操作的需求,具体来说,合并行有多种方式:交集、差集、并集和异或。通过不同的集合操作方式,可以满足多种合并需求场景。
功能简介
合并行的集合操作配置提供四种操作:交集、差集、并集和异或。
...
^【ETL】画布工具栏中移动画布按钮支持画布拖拽
背景介绍
通过滚动条来调整ETL流程图的位置操作起来不方便,为了简化拖拽方式,增加鼠标的拖拽方式。
功能简介
当画布中的鼠标指针为十字箭头时,表示当前为拖拽功能。默认鼠标指针功能为拖拽功能,可以点击画布中移动画布按钮进行功能切换。
...
^【ETL】小批量支持自动运行
背景介绍
为了简化操作流程,在小批量配置情况下,大部分数据源支持自动执行节点
功能简介
在首次配置数据源节点时,如果读取配置为小批量且该数据源支持小批量,那么配置完数据源节点后会自动执行节点。在配置为小批量且该数据源支持小批量前提下,修改数据源节点参数后,也会自动执行节点。
...
^【ETL】全局执行增加是否使用缓存选项
背景介绍
行策略主要是优化客户在全部执行的时候,希望能够不使用缓存,否则数据会没有任何变化。
功能简介
ETL全局执行增加执行策略:一种是不使用缓存执行,一种是使用系统默认设置执行。在不使用缓存时,执行会重新运行所有节点。
...
^【ETL】节点目录支持改名称
背景介绍
在项目中经常会有修改节点目录名称的需求,增加节点目录修改名称满足了定制化需求。
功能简介
支持对节点树进行目录新建、名称修改、移动、隐藏操作。
3 分析展现
3.1 交互式仪表盘
3.1.1命名集支持做图形
命名集前期只支持拖入到表格组件,目前已支持把命名集拖入到图形组件。详见:自定义命名集。
3.1.2 仪表盘新增多选输入框筛选器
多选输入框筛选器支持通过换行符、英文逗号分隔符,分别查询多个值。详见:筛选器组件类型。
3.1.3仪表盘增加指标拆解树组件
详见:指标拆解树。
3.1.4 表格组件支持显示序号
3.1.5 仪表盘筛选器易用性优化
- 筛选器面板新增【选中组件】、【取消应用于】。
- 【选中组件】:点击后画布中选中组件,数据选择区、组件设置区、筛选器区的信息变为该组件的信息,图层面板中也会选中此组件。
【取消应用于】:取消这个筛选器对选中组件的联动。
- 新增两个筛选器面板模块:【此页上其他筛选器】、【此页上的筛选器】。
【此页上其他筛选器】:把此页上不影响此组件的筛选器显示出来。
【此页上的筛选器】:把此页上所有的筛选器显示出来。
- 新增隐藏、显示筛选器名称设置项,默认为显示。
- 新增筛选器名称显示位置设置项,可以设置为居左或者居上,默认为居左。
- 筛选器名称默认填充【字段别名】,如没有拖拽字段则填充【组件标题】,并回显到组件设置。
筛选器区,鼠标移动到筛选器名称上,筛选器有高亮效果,方便快速找到组件。
- 应用于组件菜单项列表中,新增组件类型图标,方便区分组件类型。
- 更改【仪表盘打开时是否刷新】为fasle的规则,筛选器和参数单独刷新,以获得备选值。
- 筛选条件支持更多操作符:多选筛选器,操作符增加以下类型,详见:筛选器组件基础功能。
- LIKE 模糊匹配
- NOT LIKE 不匹配
- LIKE ..% 开头为
- LIKE %.. 结尾为
- NOT LIKE ..% 开头不为
- NOT LIKE %.. 结尾不为
3.1.6 仪表盘画布、鹰眼优化
- 默认画布是可以看全的,不出滚动条,加强整个操作空间的感知度。
- 画布大小调整为 高清屏,1280*720。
- 新建时和打开一样,默认选中“画布缩放到最佳比例”。
- 缩放方式追加: 等比缩放到最佳比例 ,宽高都不出滚动条。
- 页面底部工具栏增加一个 画布以宽度自适应 的选项。
- 鹰眼改为默认是关闭,不会挡住画布视线。
3.1.7 仪表盘等报表跳转规则优化
3.1.8 交叉表组件优化
- 支持同一个度量重复拖入多次。
合计值:使用度量值筛选时,能正常筛选。
- 组件滚动条优化。
交叉表、透视分析支持SQL引擎,详见:SQL引擎介绍。
- 表格组件支持页码:
3.1.9 支持在界面自定义日期字段数据格式
仪表盘、即席查询、透视分析报表支持在界面上自定义日期字段的数据格式。
3.1.10 组件联动传值范围优化
- 组件联动时,可以传递图形组件标记区的字段数据。
表格设置分类汇总时,点击【小计】、【合计】,不传递小计、合计的值
详见:组件联动。
3.2 即席查询&透视分析功能增强
3.2.1 即席查询&透视分析新增“跳转规则”能力
补充描述
3.2.2 筛选器支持“全部”
待补充
3.2.2 即席查询支持多事实模型
目前只支持基数为:一对一带来的多事实明细场景。
详见:即席查询。
3.3 web电子表格
3.3.1 单元格属性支持设置 数据为空时显示方式
3.3.2 支持回写填报设置
web电子表格支持了填报、回写,详见:回写。
3.3.3 支持表头表尾属性设置
web电子表格支持表头表尾属性设置,详见:单元格属性。
4 公共模块
4.1 报表导出优化
仪表盘、即席查询、透视分析、web电子表格、电子表格重新定义了导出,主要优化了以下几点,真正实现所见即所得:
导出时支持带格式、不带格式导出。
导出execl时,最大行数受系统选项控制。
导出文件名:默认自动生成,用户可更改成含有业务含义的名称。
4.2 用户管理易用性优化
- 内置用户(比如:admin)的角色是不允许变更的(内置用户的用户组也是不允许变更的)。
- 编辑用户时不能修改当前登录用户自己的角色。
- “新建/编辑用户、新建/编辑用户组”时,角色列表界面左侧的角色树中,渲染一个用户组的儿子节点时,如果该用户组中的子节点数量超过50个,则默认只渲染前50个且再渲染一个“更多...”节点,点击“更多...”节点会渲染下50个(或剩下的)节点。
- “新建/编辑用户、新建/编辑用户组”时,在角色列表界面左侧的角色树中执行搜索时,默认最多显示前200条搜索结果(且不会渲染“更多...”节点)。
- 新建用户组时,角色列表界面右侧默认会显示当前选中用户组继承来的角色以及直接赋给该用户组且应用于子孙组的角色。
- 新建用户时,角色列表界面右侧默认会显示当前选中用户组继承来的角色以及直接赋给该用户组的角色。
- 新建/编辑用户/用户组的角色时,角色列表界面右侧继承来的角色是不允许移除的,对于当前登录用户没权限分配的角色也是不能从角色列表界面右侧中移除的。(当前登录用户可分配的用户组:包含当前用户的所在组和这些组的子孙组。当前登录用户可分配的角色:包含当前用户所拥有的所有角色和直接创建在当前用户可分配的用户组中的所有角色。)
详见:用户组、用户、操作权限-用户进行系统管理、操作权限-用户只能浏览报表、相对隔离的多机构权限管理。
4.3 水印功能的优化
水印设置增加倾斜度设置、web电子表格支持水印设置。
待补充。
4.4 系统运维
- 知识库增加知识库索引与主键检查以及修复。
- 跟踪日志增强。
...
1 更新周期
2023年 8~12月
2 更新概览
2.1 数据接入增强
- 重点满足国产化需求,新增多个数据库兼容:PanWeiDB、TiDB、MogDB、YMatrix、SelectDB等。
- 编辑Excel导入文件导入时可新增列。
2.2 数据准备增强
- 数据模型增加双向筛选能力,解决事实表能筛选维表数据的问题。
- 优化数据模型的使用操作,包括:表关系视图更贴合业务逻辑、自定义计算列新增50+函数支持等。
- 指标模型支持单独迁移维度、指标、事实表等指标模型对象,保障指标体系的迭代更新。
- 丰富了ETL数据接入和数据输出的类型,包括:mongodb、elasticsearch、阿里云MaxCompute、API取数等。
- 增强ETL数据处理能力,包括:合并行节点新增集合运算、 支持XML解析等。
2.3 仪表盘增强
- 新增指标拆解树图表组件,新增多选输入筛选器组件
- 增强表格组件,包括显示序号、分页控件、表格内容换行等。
- 增强图形组件,包括瀑布图显示总计、坐标轴刻度可触发跳转等。
- 增强筛选器组件,包括多选组件支持模糊匹配、页面筛选器配置区操作优化等。
- 优化仪表盘制作时的操作体验,增加等比缩放到最佳比例的展示方式等。
- 增强交互功能:支持多个跳转规则执行顺序调整,组件联动时传递颜色、标签等所有维度值等。
- 支持手机端自定义筛选器的显示位置:可设置显示在页面内部还是页面右上角独立面板。
2.4 自助分析/电子表格增强
- 即席查询、透视分析增加“跳转规则”能力。
- Web电子表格支持 回写填报、支持表头表尾设置、报表单独设置水印等。
- 报表导出全面增强,支持是否带数据格式导出、导出文件名自定义等
3 详细更新内容
3.1 数据连接
+ 新增多个数据库兼容
...
新增 PanWeiDB数据连接、TiDB数据连接、MogDB数据连接、YMatrix数据连接、适配SelectDB作为Smartbi高速缓存库。
^ 导入Excel文件兼容SelectDB
...
支持将文件数据导入到SelectDB业务库中,详见:SelectDB数据连接、文件。
^ 编辑Excel导入文件时支持新增字段
...
目前PostgreSql、Greenplum、MySQL、高速缓存库(ClickHouse),在Excel导入文件追加数据时,支持新增表字段,能更方便调整表结构,详见:文件。
3.2 数据模型
^ 调整模型视图关系展现样式
...
调整数据模型关系视图展示:由原来的左右连接的图标展示,改成使用筛选方向箭头表示,让其看起来让直观,更贴合取数逻辑。
+ 增加双向筛选
...
表关系新增双向筛选方向,可实现表与表之间相互筛选数据的效果,请详见:双向筛选介绍。
^ 添加数据源表时可预览数据
...
数据模型添加数据源表作为查询时,支持点击直接预览数据。
^ 参数支持配置是否 "默认生效"
...
为了在查询时能按需取数,即当取数子图没有选择关联了参数的表或查询时,参数不默认生效。数据模型的参数管理中新增设置项控制参数是否默认生效,用户可按需配置,详见:参数设置。
^ 计算列增强
...
新建计算列时能支持引用参数、系统函数、用户属性,且内置了更多常用的函数(50+),能满足更多数据加工处理的场景。
^ 压缩空行逻辑优化
...
优化压缩空行的逻辑,保证原始数据存在空行,数据不会压缩掉,仅压缩由构建模型拼接出来的空行。
^ 脱敏规则引用应用效果增强
...
数据集字段引用了脱敏规则,当切换汇总依据为计数和唯一计数是,支持不脱敏显示。
不管是数值字段还是字符串字段,当汇总依据切换为:计数、唯一计数时,字段本身表达的业务意义改变了,所以不进行脱敏更符合业务要求,而其他的汇总依据类型依然保持原有的脱敏效果,详见:脱敏规则。
3.3 指标模型
^ 支持单独迁移维度、指标等资源
...
指标体系在建设过程中,一般是迭代开发模式,逐步开发测试、增量上线,需要在测试环境和生产环境中增量迁移指标、维度等资源。
在新版本中,指标模型中的维度、指标、维表、事实表和数据模型,都可以作为独立的资源通过资源导入导出的方式进行资源迁移。
3.4 自助ETL
+ 新增数据接入和数据输出的类型
...
为了满足更多项目的场景,在新版本中,自助ETL支持更多的数据源和目标数据源类型。
- 新增支持的数据库:TiDB、PanWeiDB、YMatrix、阿里云MaxCompute、Elasticsearch、MongoDB;
- 新增API取数节点,用于读取API数据;
- 目标源连接星环数据库时,支持新建表到星环数据库中。
+ 合并行节点中新增集合运算功能
...
在合并行的场景中,需要通过不同的集合操作方式,满足多种合并需求场景。在新版本中合并行的集合操作配置提供四种操作:交集、差集、并集和异或。
^ 合并行优化选择列弹窗新增列匹配机制
...
为了使列匹配更加灵活和易用,新增自定义列匹配机制功能。列匹配提供以下方式:按别名自动匹配、按别名自动匹配、按位置自动匹配和手动配置字段。
+ 列选择/转行节点新增正则匹配
...
在列数较多或者前节点输出列不固定的情况下,都可以使用正则匹配的方式进行列选择,使选择列方式更加灵活。
+ 数据处理支持XML解析
...
为了丰富ETL的数据处理节点功能,新增了XML解析,用于XML的解析。
^ 小批量支持自动运行
...
为了简化操作流程,在小批量配置情况下,大部分数据源支持自动执行节点。
- 在首次配置数据源节点时,如果读取配置为小批量且该数据源支持小批量,那么配置完数据源节点后会自动执行节点;
- 在配置为小批量且该数据源支持小批量前提下,修改数据源节点参数后,也会自动执行节点。
^ 全局执行增加是否使用缓存选项
...
在全部执行时,希望能够不使用缓存,否则数据会没有任何变化。
ETL全局执行增加执行策略:不使用缓存执行、使用系统默认设置。在不使用缓存时,执行会重新运行所有节点。
^ 历史记录支持恢复
...
在实际项目场景中,经常会遇到ETL最新图被修改问题,如果想恢复之前的图,只能重新拖一遍,比较繁琐。
在新版本中,支持在历史信息中恢复按钮则把该历史覆盖掉当前ETL流程图,且支持导出历史ETL流程图。
^ 画布工具栏中移动画布按钮支持画布拖拽
...
通过滚动条来调整ETL流程图的位置操作起来不方便,为了简化拖拽方式,增加鼠标的拖拽方式。当画布中的鼠标指针为十字箭头时,表示当前为拖拽功能。
^ 节点目录支持改名称
...
在实际项目场景中,经常会有修改节点目录名称的需求,增加节点目录修改名称满足了定制化需求。支持对节点树进行目录新建、名称修改、移动、隐藏操作。
+ SQL函数支持通过EXCEL导入方式增加
...
Spark SQL函数列表增加EXCEL导入功能,方便用户进行维护,如果需要进一步丰富内置Spark SQL函数,可以通过此方法补充更多Spark SQL函数。
3.5 交互式仪表盘
+ 新增指标拆解树组件
...
业务用户在做管理过程中,要解决一个业务层面的问题,需要将相关因素进行层层分解,来定位影响核心指标的关键因素。
在新版本中增加指标拆解树组件,支持添加核心指标和其相关维度,通过层层拆解来进行即席探索和进行根本原因分析。详见:指标组件 ⬝ 指标拆解树。
+ 新增多选输入框筛选器
...
多选输入框筛选器支持通过换行符、英文逗号分隔符,分别查询多个值。详见:筛选器组件类型。
^ 画布、鹰眼操作优化
...
对交互式仪表盘的画布和鹰眼功能进行系列优化调整,增强其制作自助分析看板的能力,提高易用性,主要优化的内容如下:
- 默认画布铺满不出滚动条,缩放方式增加: 等比缩放到最佳比例 ,加强整个操作空间的感知度。
- 页面底部工具栏增加一个 画布以宽度自适应 的选项。
- 鹰眼改为默认是关闭,不会挡住画布视线。
^ 筛选器易用性优化
...
对交互式仪表盘的筛选器组件和筛选器区功能进行系列优化调整,进一步完善功能,提高易用性,主要优化的内容如下:
- 增加【此页上其他筛选器】、【选中组件】、【取消应用于】等功能,方便用户快速查找、选择相关组件。
- 增强筛选器组件名称显示位置、默认名称,满足更多筛选器组件的显示效果。
- 更改【仪表盘打开时是否刷新】为fasle的规则,筛选器和参数单独刷新,以获得备选值。
^ 仪表盘多选筛选器组件增加更多操作符
...
针对多选的筛选器组件,增加操作符类型以满足更多筛选数据的场景。
多选筛选器包含:多选下拉筛选器、多选列表筛选器和多选输入框筛选器,操作符增加以下类型:LIKE 模糊匹配、NOT LIKE 不匹配、LIKE ..% 开头为、LIKE %.. 结尾为、NOT LIKE ..% 开头不为 和 NOT LIKE %.. 结尾不为。详见:筛选器组件基础功能。
^ 表格组件支持内容换行、显示序号、页码
...
表格组件增加了内容换行、显示序号和页码功能,满足更多表格展示要求。详见:汇总表、明细表。
^ 交叉表组件功能增强
...
对交互式仪表盘的交叉表组件功能进行系列优化调整,满足更多分析场景,主要优化的内容如下:
- 支持同一个度量重复拖入多次。
根据度量筛选器筛选后的结果计算合计值。
交叉表、透视分析支持SQL引擎,详见:SQL引擎V1.0介绍。
^ 图形组件功能增强
...
对交互式仪表盘的图形组件功能进行系列优化调整,实现更丰富的图形效果,主要优化的内容如下:
- 图形组件支持使用命名集字段作图。
- 含坐标轴的图形支持点击坐标轴刻度标签进行跳转、联动和下钻。
- 瀑布图支持显示总计值。
^ 支持在界面自定义日期字段数据格式
...
仪表盘、即席查询、透视分析支持在报表界面上自定义日期字段的数据格式,以实现更多日期数据的显示效果。
^ 仪表盘跳转规则优化
...
对交互式仪表盘的跳转规则功能进行系列优化调整,满足更多交互分析的场景,主要优化的内容如下:
^ 组件联动传值范围优化
...
对交互式仪表盘的组件联动功能进行系列优化调整,满足更多交互分析的场景,主要优化的内容如下:
- 组件联动时,可以传递图形组件标记区的字段数据,如颜色、标签、提示等标记。
交叉表设置分类汇总时,点击【小计】、【合计】,不传递小计、合计的值
详见:组件联动。
^ 手机布局支持自定义添加筛选器组件到筛选器面板上
...
手机布局时支持选择将哪些筛选器组件或参数组件添加到筛选器面板上,用户可以根据实际业务场景制作出更符合手机端操作的看板效果。
3.6 即席查询&透视分析
+ 新增“跳转规则”能力
...
即席查询和透视分析增加跳转规则功能,支持通过单击或悬停的动作从源资源跳转到目标资源,并且实现传递参数值的互动效果。
^ 筛选器支持选择“全部”、反选过滤
...
即席查询和透视分析的筛选器中,增加“全部”选项、支持反选过滤,方便用户快速选择所需的筛选条件。
^ 即席查询支持来源含多事实表的数据模型
...
即席查询支持展示多个事实表中字段的明细数据,目前只支持基数为:一对一带来的多事实明细场景。详见:即席查询。
3.7 Web电子表格
+ 支持回写填报设置
...
回写是是指用户在报表端可以直接增加、删除和修改数据并保存到指定的数据库中,适用于数据补录或回写填报的业务需求。
Web电子表格可以通过设置 填报属性 和 回写规则 实现报表数据的回写填报,详见:回写。
^ 单元格属性支持设置数据为空时显示方式
...
单元格属性中支持设置数据为空时,内容的显示效果,满足更多固定报表的展示要求。
^ 支持表头表尾属性设置
...
Web电子表格支持表头表尾属性设置,用于设置表头表尾固定,可实现翻页重复显示标题行列的效果。详见:单元格属性。
3.8 公共模块
^ 报表导出优化-支持带格式导出、自定义导出文件名等
...
仪表盘、即席查询、透视分析、web电子表格、电子表格重新定义了导出,真正实现导出所见即所得,主要优化内容如下:
导出时支持带格式、不带格式导出。
导出excel时,最大行数受系统选项控制。
导出文件名:默认自动生成,用户可更改成含有业务含义的名称。
^ 用户/用户组配置角色界面增强
...
从列表展示方式变更为穿梭框展示方式,以及优化了界面渲染性能,让可选和已选操作和内容更易用。
^ 水印功能的优化
...
全局水印设置增加倾斜度设置,满足更多水印场景;并且Web电子表格支持独立水印设置,默认以全局水印设置为准。可根据实际场景自定义水印以及禁用水印。
^ 系统运维功能优化
...
针对系统运维进行系列调整优化,以保证系统的正常运行,主要优化的内容如下:
- 增加知识库索引与主键的检查及修复,解决知识库索引丢失、主键丢失等问题,保证系统功能正常使用。
- 增强跟踪日志,若系统宕机了,能更方便地跟踪宕机前用户执行了什么操作。