第15页，共87页。 显示 865 条结果 (0.023 秒)
Smartbi V10.1-数据挖掘
新特性列表中：+表示新增；^表示增强；<表示变更 新增【+】 增强【^】 +【数据挖掘/ETL】关系数据源新增对华为Fusioninsight数据库的支持 +【数据挖掘】新增一键推荐功能，用于推荐设置Spark 资源配置项的值 +【数据挖掘】新增模型对比功能，支持算法模型可视化分析并导出评估报告 +【数据挖掘】作业流支持一次性多选节点拖拽到画布 ^【ETL自动化】优化导入模板：实现模板的可视化配置 ^【数据挖掘】关系数据源新增选择列功能，用于输出指定数据 ^【数据挖掘】关系目标表新建表支持添加字段别名到数据库 ^【数据挖掘/ETL】部分数据预处理方法功能增强 ^【数据挖掘】优化算法节点自动调参Smartbi V10.5.8-数据准备
中执行数据模型的抽取 +【作业流】作业流支持 Foreach 循环器 +【作业流】支持识别“外部ETL”跑完状态 <【指标管理】屏蔽派生指标和复合指标 ^【ETL】横版ETL开发 +【指标管理】指标模型支持在线编辑数据 背景介绍 指标模型维度和指标的数据，当前只能通过自助ETL功能进行数据准备，这个数据加工过程漫长且技术门槛高。 1. 采用模拟数据，直接基于仪表盘制作交互原型，在实施前期与甲方共同确认目标，让前期投入后期直接复用同时，也让报表制作和数据加工过程并行更简单。 2. 简化产品演示、demo演示、功能试用等数据准备过程，不需要通过自助ETL进行数据准备，仅通过Windows EXE安装包部署Smartbi
excel、pdf、png等格式 Smartbi自助ETL/数据挖掘执行引擎 该组件包含以下两个模块： 自助ETL模块：可以让业务人员进行自助ETL； 数据挖掘执行引擎：内置本地模式的spark，可以执行数据挖掘相关计算服务。 可选 Smartbi数据挖掘服务引擎 提供数据挖掘模型预测服务，供第三方系统调用。 可选 1、Windows EXE 安装包 不包含 Python 节点的部署，如需在数据挖掘中使用Python相关服务，在安装功能“Smartbi自助ETL/数据挖掘执行引擎” 和 “Smartbi数据挖掘服务引擎”后，还需参考文档 Windows 部署如何在作业流成使用“检查依赖"字段节点
抽取，以电商为例，用户需要统计分析本月的销售情况，由于销售数据较大，用户希望能够将业务系统中的数据按一定的频率抽取到数据仓库中，同时不能对业务系统造成太大的压力，影响现有业务。假设抽取频率为一天，存在一个ETL任务需要统计处本月截止到现在的销售情况。一般地，可以在创建数据库表时，增加一个额外的时间戳字段，负责抽取任务的ETL通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。为了保证数据的准确性，需要保证本月截止到现在，负责抽取任务的ETL每一天的运行都是正常的，才能执行接下来的统计分析本月截止到现在的销售情况ETL任务。此时，就可以使用“检查依赖”功能。 输入/输出 输入 一个输入端口，用于连接节点设置及修改查询
1 概述 数据模型中目前已经支持了9种查询："数据源表"、"导入文件"、"SQL查询"、"即席查询"、"Java查询"、"脚本查询"、"存储过程查询"、"ETL高级查询"、"生成日期表" 每种查询的适用场景和操作说明在查询并准备数据中已经介绍。 下文介绍各个查询通用的一些设置、说明。 2 查询右键菜单 各个 … 编写SQL语句的时间，提高工作效率。 1、复制查询，复制后的命名方式：以原查询名词2,3,4依次增加 。 2、另外注意：复制【生成日期表】，复制后编辑进入【生成日期表】的“表名”会自动增加a,b,c....依次增加。 新建关系 创建查询与其他查询的关系，详细可参考设置查询关系。 转为ETL高级查询如何在作业流中执行抽取的数据模型？
与ETL执行的先后顺序，无需写代码、轻轻松松确保生产安全！ 未命名文件 (5).png 2 示例 指标模型通过作业流的"指标模型"节点直接抽取数据. 1、添加ETL节点 新建作业流，在作业流中增加ETL节点，如下图： 01.png 2、添加”指标模型“ 左侧资源树上增加了“指标模型”、“数据集”目录，点击目录下仅显示”抽取“的数据模型或指标模型。 在作业流左侧资源树上选择“指标模型”,如下图： 02.png 拖入指标模型到作业流画布中，给指标模型与其他ETL或作业流设置串联关系，即先执行ETL或作业流资源再执行指标模型的抽取； 停止抽取计划，并不会影响作业流中的”指标模型“或 ”数据模型“ 正常数学和统计运算符、函数
1、运算符/函数 序号 运算符/函数 描述 1 %或mod(expr,expr) 函数名称：%或mod(expr,expr) 函数说明：返回两个数字的余数。 示例：在数据模型-etl高级查询中使用SQL脚本节点，取3除2的余数。 select 3 % 2 as a,mod(3,2) as b; 返回值1； image2023-11-28_14-54-1.png 2 * 函数名称：* 函数说明：将两个数字相乘。 示例：在数据模型-etl高级查询中使用SQL脚本节点，取3乘2的结果。 select 3 * 2 as a; 返回值6[操作易用性]-界面操作易用性功能
概述 针对ETL画布的易用性进行优化。 易用性功能 添加Ctr+Z撤销功能和Ctrl+Y还原快捷键。 打开ETL不显示属性区。 点击画布空白区域，节点属性区隐藏，可以通过下图所示的图钉图标按钮避免画布跳来跳去。 image2024-1-17_17-34-51.png 4.右侧工具栏增加“全图”的工具，可以一键看ETL全图。 image2024-1-17_17-36-45.png 5.画布中去掉滚动条，保留鼠标滚动的效果。 6.按住Ctrl，鼠标滚动可以缩放画布。 7.上游配置变更连线下游节点能够给与提醒，即在连线发生变更时，下游节点要如何在作业流中执行抽取的数据模型？
与ETL执行的先后顺序，无需写代码、轻轻松松确保生产安全！ 未命名文件 (5).png 2、示例 指标模型通过作业流的"指标模型"节点直接抽取数据. 2.1 、添加ETL节点 1)新建作业流，在作业流中增加ETL节点，如下图： 1.png 左侧资源树上增加了“指标模型”、“数据集”目录，点击目录下仅显示”抽取“的数据模型或指标模型 2.2 、添加”指标模型“ 1)在作业流左侧资源树上选择“指标模型”,如下图： 2.png 拖入指标模型到作业流画布中，给指标模型与其他ETL或作业流设置串联关系，即先执行ETL或作业流资源再执行指标模型的抽取； 由于指标模型或数据模型保存时会自动生成一个计划任务，所以需要指标模型-快速入门
： 2023-01-30_15-27-58.png 7、新建指标”合同预算“ 在全局视图表格第三行中按照如下设置指标“合同预算”： 2023-01-30_15-41-43.png 8、维表灌数 1）分别在 ”销售人员维表“ 和 ”区域维表“ 的编辑界面中选择 新建自助ETL： 系统自动创建的日期维不需要灌数。 2023-01-30_16-45-36.png 2）弹出”新建自助ETL“页面，分别按照如下设置为维表创建自助ETL：其中源设置中的库表为系统内置库表。 自助ETL中，必须要源节点执行成功，才能执行目标源节点；且目标源节点的“参数”面板中必须要单击 字段映射 按钮，保证映射没问题并保存后才能执行成功
