页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

4、适配更多数据库,满足更多数据查询和写入的场景,如新增适配CirroData 数据库、高速缓存库支持StarRocks、impala数据库支持写入execl文件数据。数据库、高速缓存库支持StarRocks、impala数据库支持写入Execl文件数据。

3 详细更新内容

3.1 数据连接

+ 新增适配CirroData数据库

...

在国家大力提倡信息技术自主创新的大背景下,兼容国产数据库CirroData  ,又称行云数据库在国家大力提倡信息技术自主创新的大背景下,业务库新增适配国产数据库CirroData,又称行云数据库

详细可查看:数据源-CirroData数据连接

^ impala数据库支持写入execl文件数据

...


^ Impala数据库支持导入Excel文件数据

...

导入Excel文件数据,是数据连接业务库的增强功能;Impala是一种开源的大数据查询引擎,擅长大数据量处理。在新版本中导入Excel文件数据功能增加支持Impala数据库,可以将本地的文件数据导入到Impala数据库中。

详情可查看:关系型数据源-Impala数据连接


+ 高速缓存库支持StarRocks

...

积极响应国家信息技术创新号召,Smartbi已支持StarRocks作为缓存库,此举旨在全面提升产品在海量数据处理与实时分析领域的硬实力,确保数据处理的安全性、高效性和可控性。通过与StarRocks的深度适配,Smartbi将进一步强化关键业务场景下的数据支撑能力,为您带来前所未有的数据处理与分析体验。在国家大力提倡信息技术自主创新的大背景下,高速缓存库兼容适配国产开源数据库StarRocks,StarRocks在海量数据处理与实时分析领域,以及数据处理的安全性、高效性和可控性等都有明显优势。

详情可查看:高速缓存库

3.

...

2 自助ETL

^ ETL引擎高可用提供简化版的配置方案^ ETL引擎支持主备高可用

为了应对不想部署zookeeper组件又要做引擎高可用主备切换的场景,提供简化版实现的主备切换方案。配置如下图所示:

1.平台端引擎地址配置, 主备节点以逗号分隔。

Image Removed

2.引擎端配置文件(experiment-application.properties)调整

Image Removed

^ API取数节点增强健壮性,支持多种失败重试配置

为了应对API 执行时间不确定性,以及偶发执行失败的场景,增加了超时设置以及失败重试设置,如下图:

Image Removed

如图显示的设置,都为默认值。默认情况,API连接超时时间为180秒,响应超时时间-1,表示永不超时,重试次数为0,表示不会进行重试

^ 执行节点的缓存优化

ETL缓存功能可以带来更好的性能更高稳定性,所以强烈推荐使用缓存功能。但是由于下面两点,造成没有使用缓存功能

  1. 某一些情况下(比如暂时连接不上etl执行引擎),没有默认勾选缓存
  2. 勾选缓存后,在手工执行的情况下,之前执行过的节点不再执行(作业流调度跟计划任务调度不会出现这种情况),用户为了重新执行获取最新数据,往往切换成不缓存

为了解决上面场景,做了以下优化:

  1. 默认情况都会勾选缓存
  2. 即便勾选缓存,节点都会重新执行。

缓存设置如下图:

Image Removed

...

ETL引擎高可用之前必须部署zookeeper集群,对人员技能要求高,客户难以自主部署。主备高可用不需要部署zookeeper,简单配置即可实现高可用。


^ API取数节点增强健壮性

...

API取数可以从saaS产品(如钉钉/企业微信/金蝶云等)的接口取数,但接口可能不稳定,存在断网/延迟/偶发失败的情况。为增强健壮性,API取数节点增加了超时设置以及失败重试设置。


^ 执行节点的缓存优化,防止假运行

...

ETL job缓存策略选择“缓存”时,已经执行的节点不会再次执行,仅从未执行的节点开始运行,可能导致作业假跑,未获取最新数据。优化后,无论节点的执行状态,节点均会运行,保证获取最新数据。


3.3 交互式仪表盘

^ 表格组件支持隐藏菜单按钮和度量名称

...

为了自助用户在浏览看板时更方便地进行数据分析,表格组件提供了满足各种分析场景的菜单入口,但在做大屏看板时,这些分析入口并不需要,且影响了看板的美观效果。在新版本中,仪表盘各表格组件支持自定义配置是否显示菜单按钮、交叉表组件是否显示度量名称,如下图所示:

...

为了方便用户选中、编辑某个组件,系统会默认将选中的组件图层自动置于顶层。但在实际场景中,有些组件仅起到装饰、辅助的作用,例如背景、边框等,这类组件如果选中后置于顶层,反而不方便用户调整效果,所以在新版本中,交互式仪表盘支持锁定组件后,组件将保持原有图层浮动层级,不会再自动置于顶层。效果如下图所示:

3.

...

4 即席查询&透视分析

^ 即席查询支持批量选择表字段

...

即席查询在进行清单明细数据的查询时,可通过 使用即席查询做清单明细数据的查询时,可通过 选择下级子节点、反选、取消选择下级子节点 来进行选择/取消选择字段,无需点击多次鼠标去选择/取消字段,以达到快速完成字段选择的效果。

3.

...

5 Web电子表格

+ 新增Web电子表格私有查询操作权限

...

新增Web电子表格私有查询的操作权限,可以根据不同需求给不同的用户授予不同的权限,更加细粒度控制用户权限,增强产品安全控制。详情可查看:操作权限列表

...