第17页,共87页。 显示 865 条结果 (0.025 秒)
202411产品更新说明
合并单元格显示等。 5、更强数据库兼容性:新版本在指标模型、自助ETL等模块上兼容更多数据库,显著提升数据接入能力,满足不同用户的多样化需求。 3 详细更新内容 +表示新增,^表示增强,<表示变更。 3.1 数据连接 + 新增适配星环ArgoDB业务库 星环ArgoDB是一款企业级的分布式数据库,它结合 … 减少调试时间,提高整体工作效率和用户体验。详细可查看:创建计算列 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=113542061。 3.4 自助ETL + ETL关系目标源支持Doris Apache Doris 是一个基于 MPP 架构202412产品更新说明
江南冬十二月,溪上梅三两花。载取小舟香影,月明自棹回家。 1 发布月份 2024年 12月 2 更新概览 1、新增数据预警功能,实现自动监控关键指标和重点数据,及时推送预警消息给相关人员,以确保快速响应。 2、自助ETL全面升级,全新的ETL在操作性、易用性、交互性上得到了较大提升,在新UI的加持下,将给 … 。 3.5 自助ETL ^ 自助ETL模块的全面增强 旧版自助ETL与产品中其他模块在界面、交互方式等方面有较大差异,同时存在学习难、使用难的问题。本次版本更新对ETL功能进行了彻底重构和增强,主要包括如下方面: 1、融合产品其他模块的操作方式和交互体验,在界面操作指引的帮助下,让用户0学习成本,实现真正的自助操作如何连接与使用明道云数据源?
“测试通过”,代表填写的appkey和sign是正确的; 点击【下一步】,勾选需要的表,如下图, image2022-3-21_16-35-42.png 再点击下一步可查看计划任务,如下图: image2022-3-21_15-0-57.png 计划任务: 生成对应的自助ETL,每天定时从明道与获取数据到高速缓存库; 可以设置1天更新一次或者多天更新一次,取决于客户的业务要求; 保存成之后,后台会异步调用第一次全量抽取数据; 该调度是增量抽取数据的计划,默认从第二天开始,每天0点执行,可自行修改调度时间. 自动生成的自助etl信息不能删除和修改、计划不能删除,否则无法增量抽取数据 最后点击保存,弹出保存成功提示,就说用户同步
1. 概要说明 用户同步是指有多套系统(包括Smartbi系统)都拥有用户信息,想要当以第三方系统作为统一用户管理平台时,需要将第三方系统的用户同步到Smartbi系统中。 2. 用户同步的几种方法 用户同步方法 方案简述 优点 缺点 通过用户同步功能同步用户 通过数据模型获取第三方系统的用户数据,并在用户同步计划中配置字段映射,设置定时同步 1.操作简单方便,不需要写代码 2.可实现定时自动同步 3.提供调度日志、运维方便 无法做到实时同步 通过存储过程或 ETL 同步用户 使用存储过程或 ETL 定时将第三方系统中的用户等信息同步到 Smartbi【跨版本升级变更】V10.5➜V11
ETL V10.5旧自助ETL界面: image2023-7-3_9-55-18.png V11全新自助ETL界面: image2025-4-1_20-1-36.png 自助ETL按新的UI风格更新,同时界面变更: 新的数据预处理节点支持查看字段分布统计信息; 底部面板右侧展示字段分布统计图,左侧支持设置各种过滤和派生条件; 详情请查看:自助ETL ⬝ 界面介绍 作业流 V10.5旧作业流界面: https://wiki.smartbi.com.cn/download/attachments/92085547/8.png?version=1&modificationDate[历史记录恢复]-历史记录支持恢复流程图
概述 在项目中经常会遇到ETL最新流程图被修改问题,如果想恢复之前的图,只能重新拖一遍,比较繁琐。因此新增了恢复历史流程图的功能,同时也新增了历史流程图的导出功能。 功能配置入口 打开ETL流程图,点击工具栏中查看历史按钮,历史运行记录的流程图提供恢复和导出流程图功能。 image2024-1-2_11-30-25.png image2024-1-2_11-31-50.png 应用场景 ETL流程图历史记录恢复演示 image2024-1-2_11-34-45.png image2023-8-25_17-28-24.pngimage2023-8-25_17-30-1.png 功能节点 etl节点数据预处理
准备 > 自助ETL,进入“新建ETL”定制界面。 2、在此界面可以设计定制ETL作业 image2024-9-14_13-36-51.png 数据源 1、将关系数据源节点拖入画布区,在节点配置区设置关系数据源的参数。 image2024-9-14_13-38-31.png … 新的表。 image2024-9-14_13-43-2.png 流程运行完成后,关系目标源节点会有输出的数据: 在数据源中查看刚才创建的“产品销售数据表”表,预览表中的数据如图: image2024-9-14_13-43-39.png 使用自助ETL处理数据完成,下面可对产品销售情况进行数据分析,详情请参考[屏蔽节点]-节点/目录支持屏蔽功能
概述 在某些场景中,需要对节点树下的节点或者目录进行隐藏操作。 功能配置入口 点击运维设置,打开数据挖掘配置,找到更改ETL树结构设置,打开配置节点树,接下通过眼睛按钮就可以实现屏蔽功能了,打开流程如下图所示。 image2024-1-5_10-36-1.png image2024-1-5_10-37-24.png 操作演示 原始节点树 image2024-1-5_10-48-46.png 屏蔽目录 整个操作流程如下图所示,选择一个目录-》点击眼睛按钮-》切换后点击确认,目录屏蔽完成,可以在ETL的节点树中看到已屏蔽该目录。 image2024-1-5_10-49-58.png业务库迁移方案
数据迁移后重新设计分区策略,或使用分布式中间件(如Doris、StarRocks等)适配分析场景。 6 NULL处理差异 某些数据库不允许空字符串作为NULL,或者布尔字段处理不一致 逻辑判断出错 源库—》目标库,NULL处理差异 回写、excel导入、指标模型创建表 自动兼容 ETL写入 手动兼容 在产品中调整ETL对应节点,在ETL中明确NULL与空值的处理规则;统一布尔字段值的处理方式(如0/1或TRUE/FALSE)。 4 业务库迁移兼容性适配实操示例 4.1 源库与目标库信息完全一致的迁移 适用情况 同类型数据库迁移(如 Oracle→Oracle、MySQL参数设置
可视化SQL查询中的参数由拖拽字段生成的条件会自动生成参数,详情可参考:可视化SQL查询。 jixichaxun.png 3.3 ETL高级查询 1、参数表达式中的参数名与参数设置的”参数名“必须一致。 2、定义参数时,可以设置参数为空;再使用参数的地方,用“{[ ]}”表示该参数可为空,即查询全部数据。 1、在ETL高级查询支持定义参数,先在ETL高级查询定义好参数之后,再用到可以调用参数的地方或者节点上。 2、ETL高级查询可以在”关系数据源“、“数据查询”节点使用定义好的参数,详情可参考:自助ETL。 “数据查询”节点使用参数: etlgaoji.png ”关系数据源“节点使用参数