注意:(新特性列表中:+表示新增;^表示增强)
V10.5版本重点详细改进情况如下:5.8 版本重点详细改进情况如下:
新增 | 增强 | |||||
---|---|---|---|---|---|---|
【指标模型】新增指标模型,配合产品其它功能,形成完善的指标管理体系 | 【数据模型】新增数据权限,满足用户个性化的数据安全保障 | 【数据模型】新增Java查询,快速对接非关系型数据来源 | 【数据模型】支持自动创建“日期表”,实现时间层次的标准化定义 | 【自助ETL】新增源库SQL脚本节点 | 【作业流】新增检查依赖节点 |
+【指标模型】新增指标模型,配合产品其它功能,形成完善的指标管理体系
背景介绍
指标是企业中用来衡量业务的统一标准,企业的管理者使用各项指标作为判断依据,来分析企业经营状况,例如:我们要了解公司目前人员的稳定情况,可以看公司的【离职率】指标。因此,构建一个完整的指标体系,能全面、快速且有效地帮助管理者分析企业的经营情况。
功能简介
Smartbi引入指标管理功能,对业务数据按照企业内部统一规则和标准化计算口径进行处理,形成指标,并且对这些指标进行系统维护;Smartbi的指标管理是一套比较完善的指标体系管理工具,包含初始化指标库、指标维护管理,实现指标展现等功能。
指标模型功能主要有如下特点:
1、一站式指标库初始化及管理。
2、实现指标维护审核机制:由业务人员维护指标,审核人员进行审核。不但保障了指标体系的安全和不断完善,也能充分调动业务人员应用指标平台的积极性。
3、支持指标在自助仪表盘或大屏中展现。
参考文档
指标模型操作详情请参见:指标模型。
+【数据模型】新增Java查询,快速对接非关系型数据来源
背景介绍
在实际项目应用中,会出现以下取数场景:
场景1: 有些客户不想(考虑安全性)或者没有办法连接到数据源,需要通过http接口的方式取数来进行数据分析和仪表盘展示;
场景2: 读文件,读取客户放在某个服务器上的文件数据,比如csv/txt文件;
为了支持以上场景,V10.5版本新增了Java查询类型的模型表,实现了通过文件取数和自定义类读取数据的方式,增加了数据模型的数据来源,保证了数据模型能应用到更多的取数场景。
功能简介
在“数据模型”定制界面单击创建私有查询按钮,选择 Java查询(如下图所示),进入Java查询的定制界面。
参考文档
Java查询的定制详情请参见:Java查询。
^【数据模型】支持数据预览功能
背景介绍
数据模型本身可以预览单个查询的数据,但是无法对多个查询的维度、度量、特别是计算度量进行组合预览,而用户又希望在建模的过程中能快速的核对模型的数据是否正确,所以增加了对整个模型数据的预览功能。
功能简介
在数据模型工具栏单击 模型数据预览 按钮,在预览窗口左侧勾选字段后,显示数据结果。
^【数据模型】增加表关系自动检测
背景介绍
在建模的过程中,用户面对的表不单单是一张表,而是很多表构成的,表与表之间存在着相关联的数据并具有一定的关系,如果让用户自己手动去设置关联关系,将会费时费力、吃力不讨好;
而V10.5优化了了这个建模过程,如果两个表存在相同的字段名称和数据类型,会“智能”的设置关联关系,这样不但缩短了建模时长还增强了用户体验。
功能简介
自动创建模型表关系支持“直连”和“抽取”模式。
系统自动创建模型表关系的前提条件必须同时满足如下两个:
- 设置了检测表关系的策略;
- 模型表的字段别名和数据类型必须一致;
参考文档
模型表关系检测的功能详情请参见:数据模型工具栏相关说明。
^【数据模型】实现模型参数复制,快速复用模型公共参数
背景介绍
在建模过程中经常会用参数来进行控制权限、参数联动、参数嵌套等等,而动态复杂的参数一般都是通过写SQL来实现,并且在实际项目中用户为了适应业务数据展示需要往往会建多个模型,为了能快速复用已经定义好的参数,在V10.5新增了模型参数复用功能,可以一键复用其他模型的参数,简单、快捷。
功能简介
在数据模型的“参数管理”面板中,单击 复制参数 按钮,在下拉菜单中勾选需要复制的参数,单击 确定 按钮即在当前数据模型中自动生成参数。
参考文档
参数复制详情请参见:参数复制。
+【数据模型】支持自动创建“日期表”,实现时间层次的标准化定义
背景介绍
在实际项目建模过程中,基本都会建立时间层次来进行数据分析,而很多业务数据的时间/日期都存在事实表中,比如以下几种情况:
场景1: 事实表数据不完整,有些日期下存在数据,有些日期下不存在数据;
场景2:有些业务数据,比如年、年月、年月日等不是标准的日期格式,可能是字符串,这时需要将字符串标记成时间层次,从而来进行数据可视化;
场景3:当模型是多事实表情况下,无法确定创建时间层次的日期字段到底用哪个事实表才合适,这时一个统一的日期就显的尤为重要;
为了解决以上场景,在模型里可以创建一张统一的日期表与事实表进行关联。功能简介
“日期表”类型是由系统根据用户设置的起止时间和时间频度自动生成日期字段。该字段包含了所有日期,可以提供给用户创建时间层次。
1、按照用户设置的起止日期及时间字段格式,系统自动生成相应的日期表及时间字段:
2、然后再基于该时间字段”标记为时间层次“:
3、生成相应的时间层次:
参考文档
日期表的功能详情请参见:生成日期表。
+【数据模型】新增模型层数据权限,满足用户个性化的数据安全保障
背景介绍
现在的权限控制都是在数据库源表上,权限比较固定,不同的模型无法实现给不同的用户不同权限,所以在模型层面增加了权限控制,实现用户可以为不同的数据模型设置数据权限,满足用户个性化的数据安全保障。
功能简介
V10.5版本支持数据模型在直连或抽取状态下,设置数据权限:在“数据准备”界面的资源目录区中找到数据模型节点,在其更多菜单中选择 设置数据权限。
参考文档
数据模型的数据权限设置详情请参见:数据模型-数据权限设置。
+【自助ETL】新增源库SQL脚本节点
背景介绍
自助ETL运行之后的数据会存在Spark中,但是在实际项目业务中,通常会出现以下场景:
- 场景1:想要直接连接源库不经过sprak执行sql语句,比如对数据进行增删改;
- 场景2:有时候客户想在Smartbi平台直接对原表修改表结构,而不想跨平台切换到原数据库修改,然后再同步到Smartbi;
为了满足以上场景,新版本自助ETL中新增“源库SQL脚本”节点,支持通过编写SQL脚本直接对数据库进行操作。
功能简介
新版本,在自助ETL中新增“源库SQL脚本”节点。
支持编写SQL脚本对数据库进行操作:
参考文档
关于源库SQL脚本节点更多功能,详情请参考 自助ETL-源库SQL脚本 。
+【作业流】新增检查依赖节点
背景介绍
在实际应用中,用户在使用作业流时会遇到等前一个作业运行成功,后面与之有依赖关系的作业才能继续运行的情况,因此需要有对应的节点用于控制作业运行。为了满足用户需求,新版本作业流中新增“检查依赖”节点,用于解决各个作业执行依赖时运行约束的问题。
功能简介
新版本,作业流中新增“检查依赖”节点,可用于检查作业在指定周期内是否有运行成功的实例,如果成功则将执行与之有依赖的后续作业。
参考文档
关于检查依赖的功能,详情请参考 检查依赖 。
^【数据模型】抽取支持建模和数据抽取独立执行
背景介绍
在实际项目中,可能存在大量的业务数据,这时用抽取模式会提高查询性能,而当用户在调试模型时,比如简单的更改表关系、增加计算度量等都需要重新抽取数据,而每次抽数都要等十几二十分钟,相当耗时;因此,在新版本中把抽数和建模分离出来,用户有些动作只需要重新建模(建大宽表),而不需要抽数,提高用户的建模效率。
功能简介
新版本中,数据模型将全表数据抽取功能进行拆分,具体如下:
1. 数据模型支持对单个私有查询进行抽取数据。当模型进行第一次全表抽取并建模后,后续若需增删或修改私有查询,只需对存在数据变更的私有查询进行抽取数据即可,大大提升了抽取效率。
2. 数据模型支持“仅建模”,将所有私有查询按照表关系重新建模,即将所有表构建成一张大宽表。若各私有查询的数据无变更,只是增加或删除度量、计算度量或修改表关系等变更操作,则只需进行建模生成大宽表,无需重新抽取数据。
参考文档
详情可参考文档 连接模式-抽取
^【数据模型】表关系区支持子布局视图
背景介绍
子图布局是为了应对复杂模型而设计的,比如多事实模型中有100个表,都放在一个视图中,关系线将错综复杂,编辑和查看都变得很困难;新版本中,一个模型可以创建多张关系图,其中第一张关系图是总图(所有表),所有的表和关系都在这个视图中整体展现; 而新添加的视图,可以设置某些维度的几个表的模型关系,添加的其他视图都是整体模型关系图的一个子视图。
功能简介
在V10.5版本中,对数据模型表关系区进行优化,当模型过于复杂时,可增加子布局视图,从而解决数据模型表关系区杂乱无章、查看与编辑不方便的问题。
(1)当现有模型主视图关系错综复杂,可按需创建不同子视图查看:
(2)当需创建新模型,其连接关系过于凌乱,可按需先创建子视图,主视图关系根据子视图自动连接;
参考文档
详情可参考文档 数据模型-表关系区
^【作业流】支持设置多个作业流运行的优先级
背景介绍
作业流本身节点也是有先后顺序的,但是并行的节点是随机排队执行,有些业务用户不想要随机排队,有些任务重要一些就需要优先执行;在新版本中增加了设置单个作业流的优先级,优先级运行规则:先运行“高”>"中">"低" ,同一个等级的根据提交时间顺序执行。
功能简介
新版本,在作业流属性中新增“优先级”设置项,作业流可按照“高>中>低”的优先级进行调度,遇到优先级同级的作业流则按顺序调度。
例如:有高中低三个级别的作业流,设置了最大运行作业流数为2,则低级作业流需要等高级、中级作业流运行完成后才能运行。
参考文档
关于作业流运行的优先级,详情请参考 作业流 。 锚 指标模型支持在线编辑数据 指标模型支持在线编辑数据
指标模型支持在线编辑数据 | |
指标模型支持在线编辑数据 |
+【指标管理】指标模型支持在线编辑数据
背景介绍
指标模型维度和指标的数据,当前只能通过自助ETL功能进行数据准备,这个数据加工过程漫长且技术门槛高。
1. 采用模拟数据,直接基于仪表盘制作交互原型,在实施前期与甲方共同确认目标,让前期投入后期直接复用同时,也让报表制作和数据加工过程并行更简单。
2. 简化产品演示、demo演示、功能试用等数据准备过程,不需要通过自助ETL进行数据准备,仅通过Excel导入或手工编辑即可完成,增强产品易用性。
解决方案
在Smartbi V10.5.8 版本中,指标模型的维度和指标数据支持在线编辑表数据的功能,支持 手工录入、复制粘贴 等操作,快速生成模拟数据即可完成数据准备过程。
指标模型的维度和事实表数据预览界面,点击 在线编辑 。
注意 |
---|
在线编辑的是指标存储库中的数据,此操作不会影响源业务系统的数据。 |
参考文档
在线编辑数据操作详情请参见:在线编辑数据。 锚 指标模型资源迁移增强 指标模型资源迁移增强
+【指标管理】指标模型资源迁移增强
背景介绍
指标模型在持续迭代的过程中,往往需要先在测试环境进行验证,数据准确后再迁移至生产环境,且需保证生产环境中指标模型的定义信息和指标存储库中的数据信息保持一致。如何提高运维人员在做资源迁移时的效率,快速在新环境中恢复资源,成为亟待解决的问题。
解决方案
在Smartbi V10.5.8 中,为检测指标模型的中定义信息和数据信息是否匹配,提供 检查表结构 功能,可快速识别不一致的项并提供 全量覆盖建表 功能和 增量建表 功能,最终保证定义信息和数据信息的一致性。
● 指标模型右键菜单增加 检查表结构,找出当前模型结构定义和指标存储库中物理表结构不一致的维表和事实表,并支持对比查看表中有哪些字段不一致。
● 提供 全量覆盖建表,根据当前指标模型中定义的所有维度和事实表,全部覆盖指标存储库中的同名表。
● 提供 增量建表,根据当前指标模型中定义的维度和事实表,只批量创建指标存储库中不存在的表。
参考文档
检查表结构操作详情请参见:检查表结构。
锚 事实表关联维度/指标自动填入字段 事实表关联维度/指标自动填入字段
事实表关联维度/指标自动填入字段 | |
事实表关联维度/指标自动填入字段 |
+【指标管理】事实表关联维度/指标自动填充字段
背景介绍
企业在持续发展的过程中,维度会根据实际的业务情况而发生变化,维度的变化将会影响到所有相关的指标,。
功能简介
在Smartbi V10.5.8 中,事实表关联维度和指标时,能自动填入对应字段,极大地提高ETL工程师批量修改关系时的工作效率。
事实表中,如果字段名和字段别名没有被修改过,则:
● 关联维度,自动填充对应维度的主键字段名和别名作为字段名和字段别名。
● 关联指标,自动填充该指标的指标编码和指标名称作为字段名和字段别名。
锚 屏蔽派生指标和复合指标 屏蔽派生指标和复合指标
屏蔽派生指标和复合指标 | |
屏蔽派生指标和复合指标 |
<【指标管理】屏蔽派生指标和复合指标
功能简介
● 指标类型中,屏蔽派生指标和复合指标。
● 原 虚拟指标 更名为 计算指标。
注意 |
---|
派生指标和复合指标的功能目前还不完善,所以在Smartbi V10.5.8 中暂时先屏蔽派生指标和复合指标,等后续功能优化完后再开放使用。 |
锚 自定义分组 自定义分组
自定义分组 | |
自定义分组 |
+【数据模型】支持创建自定义分组字段
背景介绍
分组字段是指对原始数据根据条件将相同的数据先合并到一组,然后按照分组后的数据进行汇总计算。
在V10.5 beta版本中,如果要新增一个分组字段,有2种方法:
1)写MDX语句:但是大部分人不会写
2)写SQL语句: 不懂技术的业务人员不会写SQL,只能依靠技术人员
所以在V10.5.8版本中,数据模型以及交互式仪表盘等均可通过界面可视化自定义分组字段,让业务人员轻松创建分组字段,减少对技术人员的依赖,提高了功能的易用性。
功能介绍
1)在数据模型支持自定义分组,支持对字符串、数值、日期进行枚举分组以及范围分组;
例如,设置城市分组,划分出几个大区如下:
一线城市:北京、上海、深圳
二线城市:南京、南昌、厦门、大连、常州、天津
三线城市:张家口、昆明、成都、济南、烟台
例如,对年龄分组。例如,客户年龄字段分组,划分出几个大区如下。
0岁≤未成年<18岁
18岁≤青年<40岁
40岁≤中年<56岁
老年≥56岁
2) 交互式仪表盘、即席查询也支持创建报表资源级别的自定义分组字段即只对该报表生效,不会保存到数据模型。
参考文档
详情请参考 在数据模型中如何自定义分组。
锚 作业流支持串联“数据模型”节点 作业流支持串联“数据模型”节点
作业流支持串联“数据模型”节点 | |
作业流支持串联“数据模型”节点 |
+【作业流】支持在作业流中执行数据模型的抽取
背景介绍
在V10.5 beta版本:
1)作业流和数据模型的抽取是独立分开进行的,但是数据模型的数据依赖于作业流即作业流先抽完,数据模型才能开始抽数,否则会出现数据不正确;
2)作业流执行完了之后数据模型再抽取数据,需要自定义任务(写代码)才能实现,而且非常复杂,耗时耗力;
而在V10.5.8,作业流可以通过拖、拉、拽轻松设置数据模型与ETL执行的先后顺序,无需写代码、轻轻松松确保生产安全!
功能介绍
在作业流左侧增加了”指标模型“、”数据集“目录(目录下仅展示抽取的数据模型并支持把数据模型当作节点拖入到画布中,并且与其他节点建立执行的先后顺序,如下图:
参考文档
详情请参考 如何在作业流中执行抽取的数据模型。
锚 Foreach 循环器 Foreach 循环器
Foreach 循环器 | |
Foreach 循环器 |
+【作业流】作业流支持 Foreach 循环器
背景介绍
在V10.5 beta版本中,读取文件数据主要有以下方式:
1)使用Excel导入模型:要根据模板导入,并且一次只能导入一个文件
2)数据源/ 加载文件数据: 一次只能导入一个文件
3)ETL的”FTP数据源"节点: 一次只能读取一个文件
而在V10.5.8版本中,支持一次性批量读取多个excel文件数据并且合并成大宽表存储到指定表中,业务人员无需重复导入,提高了其工作效率。
功能介绍
Foreach 循环器包含:Foreach FTP 文件枚举器、Foreach Item 枚举器、Foreach 参数枚举器;其中 Foreach FTP文件枚举器
通过获取ftp文件下的文件名(FileName)+Sheet名称(SheetName),再配合”循环资源“循环读取数据合并到一张大宽表,如下图:
参考文档
详情请参考 如何使用"Foreach 循环容器"节点。
锚 检测文件节点 检测文件节点
检测文件节点 | |
检测文件节点 |
+【作业流】支持识别“外部ETL”跑完状态
背景介绍
在V10.5beta版本中,识别“外部ETL”跑完状态有以下方法:
1)“源库脚本"节点: 需要写SQL语句并且该节点无法与其他节点关联,需要单独建一个ETL资源,不但操作麻烦而且增加了维护成本。
而V10.5.8,支持”标识“存放在ftp上,也支持”标识“存放在具体的表中,如下图, 扩展了识别方法,操作也更为直观简单,节省了实施成本,确保了数据正确。
功能介绍
1)通过"ftp方式”检测文件是否存在: 在作业流左侧增加了”检查文件存在”的节点,可以通过ftp读取指定文件,如果文件存在,作业流则往下执行;如果文件不存在,则作业流不执行:
2.获取每天ETL执行状态: 作业流增加了参数,用以动态判断记录状态
参考文档
详情请参考 作业流如何识别“外部ETL”跑完状态。
锚 横版ETL开发 横版ETL开发
横版ETL开发 | |
横版ETL开发 |
^【ETL】横版ETL开发
背景介绍
由于数据准备处理需要经常查看数据,改为横版ETL后,留出画布下方空间放节点配置面板和查看数据面板。用户点击执行按钮后能马上从数据面板上看到效果,节省了多次点击的时间。
功能简介
ETL改为横板DAG图,配置面板和数据面板调整至画布下方。选择节点时,配置面板上增加“执行该节点”按钮。左侧的节点树目录结构也做了调整。
参考文档
详情请参考 自助ETL - 界面介绍。