第164页,共563页。 显示 5,627 条结果 (0.063 秒)
ETL高级查询-演示示例
ETL高级查询工作流 ETL高级查询工作流必须以数据源为起点,以输出到MPP为终点:从数据源中抽取需要进行处理的数据,通过拖拽内置的预处理方法,之后再将处理过的数据存储到目标源中。 image2019-8-6 10_54_55 (1).png 定义ETL高级查询 新建ETL高级查询 数据基础 数据源中 … 的数据,如图: image2022-2-16_16-6-21.png 3、点击 保存 按钮,提示信息如下,点击 确定 按钮,转换为抽取模式。 image2022-2-16_16-8-28.png 4、再次点击 保存 按钮保存查询后,点击 回到模型 按钮,返回新建数据模型主界面计算某个维度特定值(成员)的指标
本文主要讲解通过计算度量计算某个或者某些成员的计算指标。 1、数据:消费明细.csv;如果想复现示例,需要先把示例数据导入到模型中,详细可查看:导入文件数据。 1 示例 数据如下图,其中咨询状态 SUC代表成功,FAL代表失败,CAN代表取消。 1.png 现在想要统计“咨询成功的消费人数以及消费金额”。 具体操作步骤如下: 1、创建数据模型并导入数据到模型中,可参考:导入文件数据: 2.png 2、在模型区把“咨询单号”变成度量,把别名改成“消费人数”,并且把汇总依据改成 唯一计数,如下图: 3.png 3、保存并且抽取数据模型之后,再去创建计算度量: 咨询成功的消费人数 需要先选择函数增强分析模块介绍
解锁未来的数据挖掘是对商业数据中的大量业务数据进行抽取、转换、分析和其他模型化处理,从中提取辅助商业决策的关键性信息的过程;数据挖掘揭示的是未知的数据关系。数据挖掘的知识领域涵盖了数据库技术、统计学知识、机器学习、可视化等多学科知识的综合应用。 3、特点 专业算法能力 预测分析内置50+挖掘组件,丰富机器学习 … Smartbi V10增强分析模块被赋予强大的认知和预测能力;在大数据的支撑下,通过各种算法让机器对数据进行深层次的统计分析以进行自学;利用机器学习,Smartbi V10获得了归纳推理和决策能力,无需编程技术,通过简便鼠标操作可视化可完成数据挖掘。 1、概述 预测分析利用机器学习技术从大量数据中挖掘出自助ETL-应用示例
。 需求场景二:增量抽取 详情请参考:数据挖掘-参数设置 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=65603816 … 自助ETL的主要应用场景是将多来源的异构数据,进行处理后得到具备完整性、一致性的数据模型。使用自助ETL可以提高数据的质量、适应不同的数据分析方法。 需求场景1:数据预处理 想要对产品的销售情况进行分析,数据源中有一张产品销售表,先根据需求对数据进行处理,然后进行数据分析。 实现方案 数据基础 数据源中跨表创建计算列
: shuzi.png 2、保存数据模型并且抽取成功之后,去创建计算列: lirunpng.png 从”商品销售明细表“拖入 “售价” 字段,从“商品信息维度表”拖入 “成本价” 字段,在表达式中输入 “售价 - 成本价”,得到单个商品的利润计算列,命名为 “单个商品利润”。 若要计算总利润,可再新建一个计算列,使用 “(售价 … 1 概述 由于现有系统的"计算列"只支持单表不同字段计算,不支持多表不同字段之间的计算,大量跨表的"计算字段"需求难以满足,为了提升数据处理的灵活性与效率,满足企业多样化的数据分析需求,解决在实际业务场景中遇到的问题,我们开发了可以跨表创建计算列的新功能。 该功能允许用户在数据模型和报表层跨表选择字段进行计算,为计算字段中时间日期函数取值在凌晨不准
(本文档仅供参考) 现象: 基于原生SQL数据集创建自助数据集,在自助数据集中增加计算字段,使用getdate()获取当前日期,使用day()获取当前日期的日。 在时间为2023年7月8日00:28时,day(getdate())取值为7,getdate()取值时2023-07-08。day取值有误。 image2023-8-7_13-47-30.png 原因: 自助数据集中的时间日期函数,实质SQL会生成数据库的相关函数执行查询,因此从业务数据库层面进行排查数据库时间、时区等情况。 由于原生SQL数据集创建的自助数据集,系统会先将数据集抽取至高速缓存库中再进行查询,此时从【系统监控】-》【SQL/MDX监控】中可以耗时记录分析说明
(本文档仅供参考) 分析维度 影响性能的主要维度: SQL执行、数据读取、服务器处理,数据传输、前端渲染,其中服务器处理包括:数据处理、公式调整、生成报表。 服务器 处理 数据处理 相关抽取逻辑,透视分析的时间计算,数据的格式、图形需要的并列轴处理,部分功能合计值计算、自助的计算字段、电子表格的扩展计算,包含异步处理的时间 生成报表 拼装报表返回前端需要的信息,包含图形处理、表格处理、Excel对象转Html、样式设置等 公式处理 Excel公式处理时间 相关资源 为了判断分析内容数据是否合理,需要有一些辅助信息增加判断,比如操作批次、操作时间、服务器总耗自助ETL-界面介绍
ETL工作流示例 ETL工作流必须以数据源为起点,以目标源为终点:从数据源中抽取需要进行处理的数据,通过拖拽内置的预处理方法,之后将处理过的数据存储到目标源中。 image2019-8-6 10:54:55.png 数据源中支持的关系数据源有: oracle、mysql、星环、DB2、gbase 8a … 源与数据查询节点; 需要配置缓存才能使用小批量功能,请参考 ; 设置为小批量试运行不影响计划任务,计划任务还是按全量执行。 定时任务 用于修改当前ETL流程的调度设置。ETL调度详情请参见 抽取监控 http://wiki.smartbi.com.cn/pages/viewpage.actionSmartbi-MPP部署(普通用户)
sSmartbi MPP 高速缓存库,列式数据库管理系统,用于抽取数据。 1、安装包说明 普通用户权限部署smartbimpp的安装介质,请联系Smartbi官方获取 smartbi-mpp.xxx.tar.gz安装包与RPM包方式部署有所不同,区别如下: 类别 tar.gz安装包 RPM … smartbi-mpp-22.3.12.19.tar.gz安装包上传至服务器,并解压 由于默认数据目录存放在安装包目录中,请确认目录空间充足,避免磁盘空间不足导致数据库异常 $ tar -zxvf smartbi-mpp-22.3.12.19-x86_64.tar.gz 解压后,目录结果如下: p1.png 目录说明【升级实操】V10.1➜V10.5
://wiki.smartbi.com.cn/pages/viewpage.action?pageId=69740195 将高速缓存库切换为 SmartbiMPPMD,并重新抽取数据。 内置高速缓存库 SmartbiMPPMD 的默认连接URL是:jdbc:smartbimppmd://localhost:50000 … SmartbiMPPMD。 SmartbiMPPMD:适用于Windows环境中使用,通过Windows EXE 安装包默认安装; SmartbiMPP:适用于Linux环境中使用。 数据挖掘 √ √ 各部件的更新 详情请参考 数据挖掘版本更新 https