注意:(新特性列表中:+表示新增;^表示增强)
V10.5.8 版本重点详细改进情况如下:
新增 | 增强 |
---|---|
背景介绍
指标为企业的决策提供了数据支撑,在企业运营过程中会不断产生数据,它需要依赖技术部门的配合,才能完成数据采集、数据治理、数据汇总等冗长的数据加工过程,无法及时地面对快速更改数据。
在Smartbi V10.5.8 中,在前端以Excel的形式提供在线编辑表数据的功能,支持 手工录入、复制粘贴 等操作,无需技术部门协同,即可完成数据准备过程。
功能简介
指标模型的维度和事实表数据预览界面,点击 在线编辑 。
在线编辑的是指标存储库中的数据,此操作不会影响源业务系统的数据。 |
参考文档
指标模型操作详情请参见:指标模型。
背景介绍
指标模型在持续迭代的过程中,往往需要先在测试环境进行验证,数据准确后再迁移至生产环境,且需保证生产环境中指标模型的定义信息和指标存储库中的数据信息保持一致。如何提高运维人员在做资源迁移时的效率,快速在新环境中恢复资源,成为亟待解决的问题。
在Smartbi V10.5.8 中,为检测指标模型的中定义信息和数据信息是否匹配,提供 检查表结构 功能,可快速识别不一致的项并提供 全量覆盖建表 功能和 增量建表 功能,最终保证定义信息和数据信息的一致性。
功能简介
● 指标模型右键菜单增加 检查表结构,找出当前模型结构定义和指标存储库中物理表结构不一致的维表和事实表,并支持对比查看表中有哪些字段不一致。
● 提供 全量覆盖建表,根据当前指标模型中定义的所有维度和事实表,全部覆盖指标存储库中的同名表。
● 提供 增量建表,根据当前指标模型中定义的维度和事实表,只批量创建指标存储库中不存在的表。
参考文档
指标模型操作详情请参见:指标模型。
背景介绍
企业在持续发展的过程中,维度会根据实际的业务情况而发生变化,维度的变化将会影响到所有相关的指标。
在Smartbi V10.5.8 中,事实表关联维度和指标时,能自动填入对应字段,极大地提高ETL工程师批量修改关系时的工作效率。
功能简介
事实表中,如果字段名和字段别名没有被修改过,则:
● 关联维度,自动填充对应维度的主键字段名和别名作为字段名和字段别名。
● 关联指标,自动填充该指标的指标编码和指标名称作为字段名和字段别名。
功能简介
● 指标类型中,屏蔽派生指标和复合指标。
● 原 虚拟指标 更名为 计算指标。
派生指标和复合指标的功能目前还不完善,所以在Smartbi V10.5.8 中暂时先屏蔽派生指标和复合指标,等后续功能优化完后再开放使用。 |
背景介绍
数据模型可以使用成员建立分组字段,但是大部分用户都不会写MDX 语句,并且维度分组的场景普遍存在,所以支持通过界面可视化支持自定义分组。
场景举例:
设置城市分组; 例如,对城市字段分组,划分出几个大区如下:
二线城市:南京、南昌、厦门、大连、常州、天津
三线城市:张家口、昆明、成都、济南、烟台
设置年龄分组; 例如,客户年龄字段分组,划分出几个大区如下:
功能介绍
背景介绍
由于数据模型的抽取和作业流的调度是分开执行的,会有一个先后顺序或时间差;如果ETL执行不成功即没有把最新数据更新到表中,会导致数据模型在设定好的时间抽数没有意义或者说数据不准确;
所以需要把数据模型的抽取与作业流的抽取串联起来,即ETL灌数成功后可以直接抽取数据模型的数据到MPP中。
功能介绍
在作业流中左侧增加了”指标模型“、”数据集“目录,目录下仅展示抽取的数据模型,如下图:
背景介绍
Foreach 循环器允许在单个数据流任务中轻松摄取多个数据文件。为此,所有文件都需要驻留在相同的目录中,并且它们都必须具有相同的结构和元数据。
作业流中的 Foreach 循环器将控制流任务重复N 次,类似于任何编程语言中的Foreach 循环;
场景举例
零售行业,店面可能分布在不同的国家、城市里,每个店面每个月都会生成一份Excel文件数据,客户会把所有店面的文件收集起来,统一存放在一个文件夹中;
客户要求文件夹下所有文件的数据落地整合成一份数据,然后再用于可视化分析,这时可以用到"Foreach FTP文件枚举器",通过获取ftp文件下的文件名(FileName)+Sheet名称(SheetName),
再配合”循环资源“循环读取数据合并到一张大宽表。
功能介绍
Foreach 循环器包含:Foreach FTP文件枚举器、Foreach Item 枚举器、Foreach 参数枚举器
背景介绍
在项目实施过程中发现,很多客户都有自己的ETL工具(外部ETL),往往是外部ETL工具跑完之后,Smartbi的作业流才能开始跑,所以需要一个”标识“告诉Smartbi 作业流是什么时候可以开始跑;
而这个”标识“可能是存在ftp上的文件,也可能是记录在日志表的字段状态。
功能介绍
整体流程:
1.判断文件是否存在: 在作业流左侧增加了”检查文件存在”的节点,可以通过ftp读取指定文件,如果文件存在,作业流则往下执行;如果文件不存在,则作业流不执行,直到读取到指定文件才往下执行。
2.获取日志表的记录状态: 通过作业流的参数:参数支持(公共参数)动态获取值,比如"当前日期";
设置好参数后,再结合“检查字段值”节点,使用SQL语句,用"当前日期" 过滤日志表的状态。
背景介绍
由于数据准备处理需要经常查看数据,改为横版ETL后,留出画布下方空间放节点配置面板和查看数据面板。
功能简介
ETL改为横板DAG图,配置面板和数据面板调整至画布下方。选择节点时,配置面板上增加“执行该节点”按钮。左侧的节点树目录结构也做了调整。
参考文档
详情请参考 自助ETL - 界面介绍。