...
4、适配更多数据库,满足更多数据查询和写入的场景,如新增适配CirroData 数据库、高速缓存库支持StarRocks、impala数据库支持写入execl文件数据。数据库、高速缓存库支持StarRocks、impala数据库支持写入Execl文件数据。
3 详细更新内容
3.1 数据连接
+ 新增适配CirroData数据库
...
在国家大力提倡信息技术自主创新的大背景下,兼容国产数据库CirroData ,又称行云数据库在国家大力提倡信息技术自主创新的大背景下,业务库新增适配国产数据库CirroData,又称行云数据库。
详细可查看:数据源-CirroData数据连接。
^ impala数据库支持写入execl文件数据
...
^ Impala数据库支持导入Excel文件数据
...
导入Excel文件数据,是数据连接业务库的增强功能;Impala是一种开源的大数据查询引擎,擅长大数据量处理。在新版本中导入Excel文件数据功能增加支持Impala数据库,可以将本地的文件数据导入到Impala数据库中。
详情可查看:关系型数据源-Impala数据连接。
+ 高速缓存库支持StarRocks
...
积极响应国家信息技术创新号召,Smartbi已支持StarRocks作为缓存库,此举旨在全面提升产品在海量数据处理与实时分析领域的硬实力,确保数据处理的安全性、高效性和可控性。通过与StarRocks的深度适配,Smartbi将进一步强化关键业务场景下的数据支撑能力,为您带来前所未有的数据处理与分析体验。在国家大力提倡信息技术自主创新的大背景下,高速缓存库兼容适配国产开源数据库StarRocks,StarRocks在海量数据处理与实时分析领域,以及数据处理的安全性、高效性和可控性等都有明显优势。
详情可查看:高速缓存库。
3.
...
2 自助ETL
^ ETL引擎高可用提供简化版的配置方案^ ETL引擎支持主备高可用
为了应对不想部署zookeeper组件又要做引擎高可用主备切换的场景,提供简化版实现的主备切换方案。配置如下图所示:
1.平台端引擎地址配置, 主备节点以逗号分隔。
2.引擎端配置文件(experiment-application.properties)调整
^ API取数节点增强健壮性,支持多种失败重试配置
为了应对API 执行时间不确定性,以及偶发执行失败的场景,增加了超时设置以及失败重试设置,如下图:
如图显示的设置,都为默认值。默认情况,API连接超时时间为180秒,响应超时时间-1,表示永不超时,重试次数为0,表示不会进行重试
^ 执行节点的缓存优化
ETL缓存功能可以带来更好的性能更高稳定性,所以强烈推荐使用缓存功能。但是由于下面两点,造成没有使用缓存功能
- 某一些情况下(比如暂时连接不上etl执行引擎),没有默认勾选缓存
- 勾选缓存后,在手工执行的情况下,之前执行过的节点不再执行(作业流调度跟计划任务调度不会出现这种情况),用户为了重新执行获取最新数据,往往切换成不缓存
为了解决上面场景,做了以下优化:
- 默认情况都会勾选缓存
- 即便勾选缓存,节点都会重新执行。
缓存设置如下图:
...
ETL引擎高可用之前必须部署zookeeper集群,对人员技能要求高,客户难以自主部署。主备高可用不需要部署zookeeper,简单配置即可实现高可用。
^ API取数节点增强健壮性
...
API取数可以从saaS产品(如钉钉/企业微信/金蝶云等)的接口取数,但接口可能不稳定,存在断网/延迟/偶发失败的情况。为增强健壮性,API取数节点增加了超时设置以及失败重试设置。
^ 执行节点的缓存优化,防止假运行
...
ETL job缓存策略选择“缓存”时,已经执行的节点不会再次执行,仅从未执行的节点开始运行,可能导致作业假跑,未获取最新数据。优化后,无论节点的执行状态,节点均会运行,保证获取最新数据。
3.3 交互式仪表盘
^ 表格组件支持隐藏菜单按钮和度量名称
...
为了自助用户在浏览看板时更方便地进行数据分析,表格组件提供了满足各种分析场景的菜单入口,但在做大屏看板时,这些分析入口并不需要,且影响了看板的美观效果。在新版本中,仪表盘各表格组件支持自定义配置是否显示菜单按钮、交叉表组件是否显示度量名称,如下图所示:
...
为了方便用户选中、编辑某个组件,系统会默认将选中的组件图层自动置于顶层。但在实际场景中,有些组件仅起到装饰、辅助的作用,例如背景、边框等,这类组件如果选中后置于顶层,反而不方便用户调整效果,所以在新版本中,交互式仪表盘支持锁定组件后,组件将保持原有图层浮动层级,不会再自动置于顶层。效果如下图所示:
3.
...
4 即席查询&透视分析
^ 即席查询支持批量选择表字段
...
即席查询在进行清单明细数据的查询时,可通过 使用即席查询做清单明细数据的查询时,可通过 选择下级子节点、反选、取消选择下级子节点 来进行选择/取消选择字段,无需点击多次鼠标去选择/取消字段,以达到快速完成字段选择的效果。
3.
...
5 Web电子表格
+ 新增Web电子表格私有查询操作权限
...
新增Web电子表格私有查询的操作权限,可以根据不同需求给不同的用户授予不同的权限,更加细粒度控制用户权限,增强产品安全控制。详情可查看:操作权限列表
...