注意:(新特性列表中:+表示新增;^表示增强)
V10.5.8 版本重点详细改进情况如下:
+【指标管理】指标模型支持在线编辑数据
背景介绍
指标为企业的决策提供了数据支撑,在企业运营过程中会不断产生数据,它需要依赖技术部门的配合,才能完成数据采集、数据治理、数据汇总等冗长的数据加工过程,无法及时地面对快速更改数据。
在Smartbi V10.5.8 中,在前端以Excel的形式提供在线编辑表数据的功能,支持 手工录入、复制粘贴 等操作,无需技术部门协同,即可完成数据准备过程。
功能简介
指标模型的维度和事实表数据预览界面,点击 在线编辑 。
在线编辑的是指标存储库中的数据,此操作不会影响源业务系统的数据。
参考文档
指标模型操作详情请参见:指标模型。
+【指标管理】指标模型资源迁移增强
背景介绍
指标模型在持续迭代的过程中,往往需要先在测试环境进行验证,数据准确后再迁移至生产环境,且需保证生产环境中指标模型的定义信息和指标存储库中的数据信息保持一致。如何提高运维人员在做资源迁移时的效率,快速在新环境中恢复资源,成为亟待解决的问题。
在Smartbi V10.5.8 中,为检测指标模型的中定义信息和数据信息是否匹配,提供 检查表结构 功能,可快速识别不一致的项并提供 全量覆盖建表 功能和 增量建表 功能,最终保证定义信息和数据信息的一致性。
功能简介
● 指标模型右键菜单增加 检查表结构,找出当前模型结构定义和指标存储库中物理表结构不一致的维表和事实表,并支持对比查看表中有哪些字段不一致。
● 提供 全量覆盖建表,根据当前指标模型中定义的所有维度和事实表,全部覆盖指标存储库中的同名表。
● 提供 增量建表,根据当前指标模型中定义的维度和事实表,只批量创建指标存储库中不存在的表。
参考文档
指标模型操作详情请参见:指标模型。
+【指标管理】事实表关联维度/指标自动填充字段
背景介绍
企业在持续发展的过程中,维度会根据实际的业务情况而发生变化,维度的变化将会影响到所有相关的指标。
在Smartbi V10.5.8 中,事实表关联维度和指标时,能自动填入对应字段,极大地提高ETL工程师批量修改关系时的工作效率。
功能简介
事实表中,如果字段名和字段别名没有被修改过,则:
● 关联维度,自动填充对应维度的主键字段名和别名作为字段名和字段别名。
● 关联指标,自动填充该指标的指标编码和指标名称作为字段名和字段别名。
<【指标管理】屏蔽派生指标和复合指标
功能简介
● 指标类型中,屏蔽派生指标和复合指标。
● 原 虚拟指标 更名为 计算指标。
派生指标和复合指标的功能目前还不完善,所以在Smartbi V10.5.8 中暂时先屏蔽派生指标和复合指标,等后续功能优化完后再开放使用。
+【数据模型】支持创建自定义分组字段
背景介绍
什么叫分组字段?即基于原来的字段新增一个新的字段;
在V10.5 beta版本中,如果要新增一个字段,有2种方法:
1)写MDX语句:但是大部分人不会写
2)写SQL语句: 不懂技术的业务人员不会写SQL,只能依靠技术人员
所以在V10.5.8版本中,数据模型以及交互式仪表盘等均可通过界面可视化自定义分组字段,让业务人员轻松创建分组字段,减少了对技术人员的依赖,提高了功能的易用性。
功能介绍
1)在数据模型支持自定义分组,支持对字符串、数值、日期进行枚举分组以及范围分组;
例如,设置城市分组,划分出几个大区如下:
一线城市:北京、上海、深圳
二线城市:南京、南昌、厦门、大连、常州、天津
三线城市:张家口、昆明、成都、济南、烟台
例如,对数量分组。例如,客户年龄字段分组,划分出几个大区如下。
0岁≤未成年<18岁
18岁≤青年<40岁
40岁≤中年<56岁
老年≥56岁
2) 交互式仪表盘、即席查询也支持创建报表资源级别的自定义分组字段即只对该报表生效,不会保存到数据模型。
+【作业流】支持在作业流中执行数据模型的抽取
背景介绍
在V10.5 beta版本:
1)作业流和数据模型的抽取是独立分开进行的,但是数据模型的数据依赖于作业流即作业流先抽完,数据模型才能开始抽数,否则会出现数据不正确;
2)作业流执行完了之后数据模型再抽取数据,需要自定义任务(写代码)才能实现,而且非常复杂,耗时耗力;
而在V10.5.8,作业流可以通过拖、拉、拽轻松实现数据模型与ETL的执行的先后顺序,无需写代码、轻轻松松确保生产安全!
功能介绍
在作业流左侧增加了”指标模型“、”数据集“目录(目录下仅展示抽取的数据模型并支持把数据模型当作节点拖入到画布中,并且与其他节点建立执行的先后顺序,如下图:
+【作业流】作业流支持 Foreach 循环器
背景介绍
Foreach 循环器允许在单个数据流任务中轻松摄取多个数据文件。为此,所有文件都需要驻留在相同的目录中,并且它们都必须具有相同的结构和元数据。
作业流中的 Foreach 循环器将控制流任务重复N 次,类似于任何编程语言中的Foreach 循环;
场景举例
零售行业,店面可能分布在不同的国家、城市里,每个店面每个月都会生成一份Excel文件数据,客户会把所有店面的文件收集起来,统一存放在一个文件夹中;
客户要求文件夹下所有文件的数据落地整合成一份数据,然后再用于可视化分析,这时可以用到"Foreach FTP文件枚举器",通过获取ftp文件下的文件名(FileName)+Sheet名称(SheetName),
再配合”循环资源“循环读取数据合并到一张大宽表。
功能介绍
Foreach 循环器包含:Foreach FTP文件枚举器、Foreach Item 枚举器、Foreach 参数枚举器
+【作业流】支持识别“外部ETL”是否跑完
背景介绍
在项目实施过程中发现,很多客户都有自己的ETL工具(外部ETL),往往是外部ETL工具跑完之后,Smartbi的作业流才能开始跑,所以需要一个”标识“告诉Smartbi 作业流是什么时候可以开始跑;
而这个”标识“可能是存在ftp上的文件,也可能是记录在日志表的字段状态。
功能介绍
整体流程:
1.判断文件是否存在: 在作业流左侧增加了”检查文件存在”的节点,可以通过ftp读取指定文件,如果文件存在,作业流则往下执行;如果文件不存在,则作业流不执行,直到读取到指定文件才往下执行。
2.获取日志表的记录状态: 通过作业流的参数:参数支持(公共参数)动态获取值,比如"当前日期";
设置好参数后,再结合“检查字段值”节点,使用SQL语句,用"当前日期" 过滤日志表的状态。
^【ETL】横版ETL开发
背景介绍
由于数据准备处理需要经常查看数据,改为横版ETL后,留出画布下方空间放节点配置面板和查看数据面板。用户点击执行按钮后能马上从数据面板上看到效果,节省了多次点击的时间。
功能简介
ETL改为横板DAG图,配置面板和数据面板调整至画布下方。选择节点时,配置面板上增加“执行该节点”按钮。左侧的节点树目录结构也做了调整。
参考文档
详情请参考 自助ETL - 界面介绍。