注意:(新特性列表中:+表示新增;^表示增强)
V10.5版本重点详细改进情况如下:
新增 | 增强 |
---|---|
+【数据模型】支持向导创建自定义分组 | |
+【作业流】模型的抽取和ETL作业流建立依赖关系 | |
+【作业流】作业流支持“for each”节点 | |
+【作业流】作业流增加检查ftp文件是否存在节点 | |
+【作业流】作业流支持参数功能 |
+【指标管理】指标模型支持在线编辑数据
背景介绍
数据是数据分析与可视化的前置工作,数据的转化和修改通常都需通过数据处理功能实现。在新版本中,支持在前端以Excel的形式,粘贴复制、或修改表数据。
功能简介
指标模型的维度和事实表数据预览界面,点击 在线编辑 。
参考文档
指标模型操作详情请参见:指标模型。
+【指标管理】指标模型资源迁移增强
背景介绍
在实际生产过程中,指标模型需要在不同环境之间做资源迁移。为帮助运维人员找出和数据库中实际物理表结构不一致的维表/事实表,在新环境中快速恢复资源,在新版本中,增加了 检查表结构、全量覆盖建表功能。
功能简介
- 指标模型右键菜单增加 检查表结构,找出当前模型结构定义和数据库中物理表结构不一致的维表和事实表,并支持对比查看表中有哪些字段不一致
- 提供 全量覆盖建表,根据当前模型结构的定义,全量覆盖数据库中的物理表
参考文档
指标模型操作详情请参见:指标模型。
+【指标管理】事实表关联维度/指标自动添加填入字段
背景介绍
企业在持续发展的过程中,维度会根据实际的业务情况而发生变化,维度的变化将会影响到所有相关的指标。为提高ETL工程师批量修改关系的工作效率,在新版本中,事实表关联维度和指标时,能自动填入对应字段。
功能简介
事实表中,如果字段名和字段别名没有被修改过,则:
- 关联维度,则自动填入对应维度的主键字段和字段别名
- 关联指标,则自动填入该指标的指标编码和指标名称作为字段名和别名
<【指标管理】屏蔽派生指标和复合指标
背景介绍
为什么要屏蔽,待确定话术。
功能简介
- 指标类型中,屏蔽派生指标和复合指标
- 原 虚拟指标 更名为 计算指标
+【数据模型】支持向导创建自定义分组
背景介绍
数据模型可以使用成员建立分组字段,但是大部分用户都不会写MDX 语句,并且维度分组的场景普遍存在,所以支持通过界面可视化支持自定义分组。
场景举例:
设置地理分组。例如,对省份字段分组,划分出几个大区如下。
- 东北地区:
黑龙江,辽宁,吉林
华北地区:
北京,天津,河北,山西,内蒙古
华东地区:
上海,江苏,浙江,安徽,福建,江西,山东
中南地区:
河南,湖北,湖南,广东,广西,海南
西南地区:
重庆,四川,贵州,云南,西藏
西北地区:
陕西,甘肃,青海,宁夏
设置年龄分组。例如,客户年龄字段分组,划分出几个大区如下。
- 0岁≤未成年<18岁
- 18岁≤青年<40岁
- 40岁≤中年<56岁
- 老年≥56岁
功能介绍
- 在数据模型区增加新建入口,并且分组包含”枚举分组“和”范围分组“;
- 在仪表盘、即席查询可以建立私有的分组字段
+【作业流】模型的抽取和ETL作业流建立依赖关系
背景介绍
技术人员通过ETL灌数到指定的数据库表,需要手动或通过计划任务定时抽取数据模型的数据到MPP,因为数据模型的抽取和作业流的调度是分开执行的,会有一个先后顺序或时间差,如果ETL执行不成功即没有把最新数据更新到表中,会导致数据模型在定好的时间抽取就没有意义或者说数据不准确,所以需要把数据模型的抽取与作业流的抽取串联起来;
功能介绍
在作业流中左侧增加了”指标模型“、”数据集“目录,目录下仅展示抽取的数据模型,如下图:
+【作业流】作业流支持 Foreach 循环器
背景介绍
Foreach 循环配置允许您在单个数据流任务中轻松摄取多个数据文件。为此,所有文件都需要驻留在相同的目录结构中(本地或网络上),并且它们都必须具有相同的结构和元数据。
作业流中的 Foreach 循环容器将控制流任务重复N 次,类似于任何编程语言中的Foreach 循环;
场景举例
零售行业,店面可能分布在不同的国家、城市里,每个店面每个月都会生成一份Execl文件数据;客户把所有店面的文件收集起来,统一存放在一个文件夹中;
客户要求文件夹下所有文件的数据落地整合成一份数据,然后再用于可视化分析,这时可以用到Foreach 的ftp文件枚举器,通过读取ftp文件下的文件再用”循环资源“读取数据合并到一张大宽表
功能介绍
Foreach 循环器包含:Foreach FTP文件枚举器、Foreach Item 枚举器、、Foreach 参数枚举器
+【作业流】作业流支持检测”ftp文件“是否存在的节点
背景介绍
在项目实施过程中发现,很多客户都有自己的ETL工具(外部ETL),往往是外部ETL工具跑完之后,Smartbi的作业流才开始跑,所以需要一个”标识“告诉Smartbi 作业流可以开始跑了;而这个”标识“客户可能会存在FTP上以文件的形式存在,也可能是其他形式。
场景举例:
某银行项目,客户有自己的ETL工具,会设置时间频率跑定时任务,跑完会把定时任务文件输出到ftp下,并且会生成一个OK文件;如果存在了ok文件,那么则认为,这个外部任务已跑成功,数据已写入完成。
此时smartbi需要去检测是否存在ok文件,如果存在,才可以执行作业流。
功能介绍
在作业流左侧增加了”检查文件存在”的节点,可以通过配置ftp读取信息读取指定文件,如果文件存在作业流则往下执行,如果不存在则不执行直到读取到指定文件才往下执行。
+【作业流】作业流支持传递参数值
背景介绍
在项目实施过程中发现,很多客户都有自己的ETL工具(外部ETL),往往是外部ETL工具跑完之后,Smartbi的作业流才开始跑;而有些客户外部ETL工具每天跑完会在数据库里面生成一张表,表里面的信息包括ETL日期、ETL执行时间、ETL状态(状态码示例:0失败 1成功)等,那Smartbi 怎么通过动态的参数是获取到这个”状态“呢?
场景举例与功能介绍:
某项目,客户有自己的ETL工具,会设置时间频率跑定时任务,跑完会每定在指定表生成一条记录,记录的状态1为成功,其他值则代表失败,如下表格:
日期 | 状态 | 执行时间 |
---|---|---|
2022-02-01 | 0 | 2022-02-01 01:13 |
2022-02-01 | 1 | 2022-02-01 02:10 |
而Smartbi 通过作业流的参数支持动态参数(公共参数)获取当前日期,根据当前日期,再结合“检查字段值”节点,通过SQL语句查询状态