+【指标管理】指标模型支持在线编辑数据【钟翠英】


背景介绍

指标为企业决策提供数据支撑,数据来源在企业运营过程中,需要经过数据采集、数据治理、数据汇总等流程,这冗长的过程在面对快速更改数据时,都需要依赖技术部门配合完成。

在Smartbi V10.5.6 中,在前端以Excel的形式提供在线编辑表数据的功能,支持 手工录入复制粘贴 等操作,无需技术部门协同,即可完成数据准备过程。

功能简介

指标模型的维度和事实表数据预览界面,点击 在线编辑

在线编辑的是指标存储库中的数据,此操作不会影响源业务系统的数据。

参考文档

指标模型操作详情请参见:指标模型

+【指标管理】指标模型资源迁移增强【钟翠英】


背景介绍

指标模型在持续迭代的过程中,往往需要先在测试环境进行验证,数据准确后再迁移至生产环境,且需保证生产环境中指标模型的定义信息和指标存储库中的数据信息保持一致。如何提高运维人员在做资源迁移时的效率,快速在新环境中恢复资源,成为亟待解决的问题。

在Smartbi V10.5.6 中,为检测指标模型的中定义信息和数据信息是否匹配,提供 检查表结构 功能,可快速识别不一致的项并提供 全量覆盖建表 功能和 增量建表 功能,最终保证定义信息和数据信息的一致性。

功能简介

     ●  指标模型右键菜单增加 检查表结构,找出当前模型结构定义和指标存储库中物理表结构不一致的维表和事实表,并支持对比查看表中有哪些字段不一致。

     ●  提供 全量覆盖建表根据当前指标模型中定义的所有维度和事实表,全部覆盖指标存储库中的同名表。

     ●  提供 增量建表根据当前指标模型中定义的维度和事实表,只批量创建指标存储库中不存在的表。

参考文档

指标模型操作详情请参见:指标模型


+【指标管理】事实表关联维度/指标自动添加填入字段【钟翠英】


背景介绍

企业在持续发展的过程中,维度会根据实际的业务情况而发生变化,维度的变化将会影响到所有相关的指标。

在Smartbi V10.5.6 中,事实表关联维度和指标时,能自动填入对应字段,极大地提高ETL工程师批量修改关系时的工作效率。

功能简介

事实表中,如果字段名和字段别名没有被修改过,则:

     ●  关联维度,自动填入对应维度的主键字段名和字段别名。

     ●  关联指标,自动填入该指标的指标编码和指标名称作为字段名和别名。


<【指标管理】屏蔽派生指标和复合指标【钟翠英】


功能简介

     ●  指标类型中,屏蔽派生指标和复合指标。

     ●  原 虚拟指标 更名为 计算指标。

派生指标和复合指标的功能目前还不完善,所以在Smartbi V10.5.6 中暂时先屏蔽派生指标和复合指标,等后续功能优化完后再开放使用。


+【数据模型】通过向导创建自定义分组【刘芳】


背景介绍

数据模型可以使用成员建立分组字段,但是大部分用户都不会写MDX 语句,并且维度分组的场景普遍存在,所以支持通过界面可视化支持自定义分组。

场景举例:

设置城市分组。例如,对城市字段分组,划分出几个大区如下:

  • 一线城市:北京、上海、深圳
  • 二线城市:南京、南昌、厦门、大连、常州、天津

  • 三线城市:张家口、昆明、成都、济南、烟台

设置年龄分组。例如,客户年龄字段分组,划分出几个大区如下。

  • 0岁≤未成年<18岁
  • 18岁≤青年<40岁
  • 40岁≤中年<56岁
  • 老年≥56岁

功能介绍

  • 在数据模型区增加新建入口,并且分组包含”枚举分组“和”范围分组“;
  • 在仪表盘、即席查询可以建立私有的分组字段


+【作业流】作业流支持串联“数据模型”节点


背景介绍

技术人员通过ETL灌数到指定的数据库表,需要手动或通过计划任务定时抽取数据模型的数据到MPP,因为数据模型的抽取和作业流的调度是分开执行的,会有一个先后顺序或时间差,如果ETL执行不成功即没有把最新数据更新到表中,会导致数据模型在定好的时间抽取就没有意义或者说数据不准确,所以需要把数据模型的抽取与作业流的抽取串联起来;

功能介绍

在作业流中左侧增加了”指标模型“、”数据集“目录,目录下仅展示抽取的数据模型,如下图:

+【作业流】作业流支持 Foreach 循环器


背景介绍

Foreach 循环配置允许您在单个数据流任务中轻松摄取多个数据文件。为此,所有文件都需要驻留在相同的目录结构中,并且它们都必须具有相同的结构和元数据。

作业流中的 Foreach 循环容器将控制流任务重复N 次,类似于任何编程语言中的Foreach 循环;

场景举例

零售行业,店面可能分布在不同的国家、城市里,每个店面每个月都会生成一份Execl文件数据;客户把所有店面的文件收集起来,统一存放在一个文件夹中;

客户要求文件夹下所有文件的数据落地整合成一份数据,然后再用于可视化分析,这时可以用到Foreach 的ftp文件枚举器,通过读取ftp文件下的文件再用”循环资源“读取数据合并到一张大宽表

功能介绍

Foreach 循环器包含:Foreach FTP文件枚举器、Foreach Item 枚举器、、Foreach 参数枚举器

+【作业流】新增节点:检测文件是否存在


背景介绍

在项目实施过程中发现,很多客户都有自己的ETL工具(外部ETL),往往是外部ETL工具跑完之后,Smartbi的作业流才开始跑,所以需要一个”标识“告诉Smartbi 作业流可以开始跑了;而这个”标识“客户可能会存在FTP上以文件的形式存在,也可能是其他形式。

场景举例:

某银行项目,客户有自己的ETL工具,会设置时间频率跑定时任务,跑完会把定时任务文件输出到ftp下,并且会生成一个OK文件;如果存在了ok文件,那么则认为,这个外部任务已跑成功,数据已写入完成。

此时smartbi需要去检测是否存在ok文件,如果存在,才可以执行作业流。

功能介绍

在作业流左侧增加了”检查文件存在”的节点,可以通过配置ftp读取信息读取指定文件,如果文件存在作业流则往下执行,如果不存在则不执行直到读取到指定文件才往下执行。

+【作业流】作业流支持参数设置


背景介绍

在项目实施过程中发现,很多客户都有自己的ETL工具(外部ETL),往往是外部ETL工具跑完之后,Smartbi的作业流才开始跑;而有些客户外部ETL工具每天跑完会在数据库里面生成一张表,表里面的信息包括ETL日期、ETL执行时间、ETL状态(状态码示例:0失败 1成功)等,那Smartbi 怎么通过动态的参数是获取到这个”状态“呢?

场景举例与功能介绍:

某项目,客户有自己的ETL工具,会设置时间频率跑定时任务,跑完会每定在指定表生成一条记录,记录的状态1为成功,其他值则代表失败,如下表格:

日期

状态

执行时间

2022-02-0102022-02-01 01:13
2022-02-0112022-02-01 02:10

而Smartbi 通过作业流的参数支持动态参数(公共参数)获取当前日期,根据当前日期,再结合“检查字段值”节点,通过SQL语句查询状态