第23页,共164页。 显示 1,631 条结果 (0.046 秒)
【升级注意事项】V9.5➜V10.1
抽取到高速缓存库,例如在数据模型中创建跨库查询、存储查询等操作,系统会切换到抽取模式。 可选 需要先部署数据挖掘的引擎 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=55840890 以便在数据模型中使用“ETL高级查询”功能 … ://history.wiki.smartbi.com.cn/pages/viewpage.action?pageId=55841810&src=contextnavpagetreemode 部署在真实物理机 通过运行V10.1的 exe安装包,直接覆盖升级到V10.1版本(自动安装Smartbi Olap和Smartbi MPP),详情见自助ETL-关系数据源
说明 关系数据源表 * 从已经连接配置好的关系数据源中选择一张用于抽取数据的表。必填。 输出字段 默认抽取所有字段数据。如果数据量特别大,而表中很多字段又没有用处,建议在这里只选择需要的字段,其他无用字段删除,可以有效提高数据抽取速度。 过滤条件 默认抽取所有数据。可以在这里设置过滤条件,只抽取满足条件的部分数据。如果需要增量抽取数据,必须利用此功能,在“过滤条件”中可以使用“参数管理”中配置的参数,从而控制动态的数据过滤条件。 请参考:如何进行数据的增量抽取 分区设置 把表数据相对平均分成多个分区,抽取程序会尽可能一个分区分配一个线程进行并行抽取,能够极大的提高大数据量情况下的数据抽取202401产品更新介绍
^ 数据模型其他功能优化 下拉树参数支持排序。 抽取支持分桶分区(仅限星环数据库)。 2.3 自助ETL + 新增数据接入和数据输出的类型 为了满足更多项目的场景,在新版本中,自助ETL支持更多的数据源和目标数据源类型。 新增支持的数据库:TiDB、PanWeiDB; 目标源连接星环数据库时,支持新建表到星环数据库中。 image2024-2-4_10-36-41.png +【挖掘】节点能够自动连接 添加了节点自动布局功能,能够让用户更加专注于建模。 image2023-1-15_1-5-21.png 当不需要自动连线功能时,可以在当前ETL中的如下入口禁用。或者可以配置系统kettle入门体验
KETTLE入门体验 Kettle简介 Kettle 是"Kettle E.T.T.L. Envirnonment"只取首字母的缩写,这意味着它被设计 用来帮助你实现你的ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水 壶,名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样:希望 … 描述 的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。 Kettle的安装 要运行此工具你必须安装 Sun 公司的JAVA 运行环境1.4 或者更高版本,相关资源你可 以到网络上搜索JDK 进行下载,Kettle 的下载可以到http://kettle.pentaho.org/ http数据模型-参数应用
。 如果模型是"抽取“模型,模型里关联私有查询的参数无法在报表层进行联动筛选(抽取的时候是以参数默认值进行抽取); 参数的这四个应用对参数的要求有如下区别: 应用类型 要求 参数筛选应用 https://wiki.smartbi.com.cn/pages … 由拖拽字段生成的条件会自动生成参数。 即席查询-参数.gif 详情请参考 即席查询 https://wiki.smartbi.com.cn//pages/viewpage.action?pageId=69737316#id-%E5%8D%B3%E5%B8%AD%E6%9F%A5%E8%AF%A2-%E5%8F%82数据挖掘-参数设置
择表头真名,可查看表头真名。 image2021-4-14_10-38-15.png 6、筛选出产品名称为“饮料”的数据,如图: image2021-4-14_10-34-46.png 增量抽取场景 增量抽取可以显著减少数据传输量和处理时间,比如需要前三天至今天抽取新增的数据,但不希望全量抽取,可以使用参数来实现增量抽取。 1、首先连接好数据源和目标源节点。 增量.png 2、在参数定义中编写sql获取当天的日期。 增量1.png 2、返回到ETL界面中,把刚刚新建的参数定义在ETL里。 增量2.png 增量3.png 3、在关系目标源中的SQL语句编辑框中填写如图的内容,即可抽取前三天至今新增Kettle的安装
Kettle http://community.pentaho.com/projects/data-integration/ 是"Kettle E.T.T.L. Envirnonment"只取首字母的缩写,这意味着它被设计用来帮助你实现你的 ETTL 需要:抽取、转换、装入和加载数据;翻译成中文名称应该叫水壶,名字 … 和写入数据。Kitchen 是一个可以运行利用 XML 或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。 要运行此 Kettle 工具你必须安装 JAVA 运行环境 1.6 或者更高版本,相关资源你可以到网络上搜索 JDK 进行下载并安装。Kettle 的下载则可以到如下地址取得最新版报表数据与数据集(数据库)中数据不一致
(本文档仅供参考) 问题现象: 自助仪表盘显示数据跟数据集查询出来数据不一致,已清理系统缓存,浏览器缓存,数据重新抽取,显示还是不一致。 image2021-6-1_10-0-19.png image2021-6-1_10-0-53.png 解决思路: 现产品中,如果数据的实际值,超出数据类型的取值范围,会自动把数据处理成对应取值范围内的值。 此问题报表是基于原生sql数据集制作自助数据集,再基于自助数据集制作的自助仪表盘。在自助数据集中将字段的数据类型,自定义为了integer类型,而数据实际值有超出的integer类型的取值范围导致。建议依据实际情况修改相关字段的数据类型。 (各种数据模型错误用法
等。 提升数据质量:ETL工具可以帮助我们自动检测并处理那些不完整或不一致的数据,确保最终展示给用户的是一份高质量的数据集。 踩坑四:关系有多义性 关系的多义性,是指当一张表触达另外一张表有多个路径。在多个事实表同时共享两个不同维度时,开启了双向筛选,会形成环路,也就是多个路径可选择,系统无法自动选择查询路径。 如下 … 了解。 worddave089e00e1e7956ba1144e04a9ff86d86.png 2. 抽取共享维表:考虑为共享维度创建一个独立的维表,如下,抽取公共的日期维度,通过公共的日期维表进行关联。 worddav57f6a837dbfec887d259bd029c812031.png 踩坑五:错误的基数关系 一个订单系统,每个订单理论上应该能数据模型-表关系区
数据模型将来源多处的数据进行归集时,是有序的归集,这种有序归集需要通过模型表间的关联关系来确定。 表关系区(下图红框所标识)中显示了当前数据模型包含的所有模型表: image2022-2-3_19-8-2.png 表关系区中的各模型表,无论直连或抽取模式,系统将依据字段别名和数据类型匹配的原则自动创建表关系 … 类查询有多个资源,则自动加上数字后缀,如:第一个SQL查询名称为“SQL查询”,第二个SQL查询名称为“SQL查询2”,以此类推。 修改名称 用户以在“表关系区”中通过更多菜单 属性 命令来修改模型表的名称: image2022-2-3_19-12-28.png 表关系类型 数据模型目前支持的模型表间关系