第2页,共87页。 显示 865 条结果 (0.022 秒)
自助ETL-关系目标源
。 自助ETL中关系目标表节点要求ByteHouse 数据源的URL设置集群名参数,否则会执行报错。设置样例: cluster=bytehouse 从V10版本开始,新用户ETL目标数据源默认不能选择高速缓存库,如需要选择高速缓存库,需在系统选项/高级设置项中,添加或开启设置项 … 。 应用场景:用户在进行ETL调度时,发现某天调度的数据有问题,需要进行重跑(把之前已经入库的数据删除再插入),可以使用此功能可以先把入库的数据删除,再将新数据追加到目标表中。 6. 节点高级设置 功能入口,如下图: image2023-12-12_14-12-54.png 配置界面,如下图。配置说明见注释ETL上传Excel文件英文括号变成两个双引号
(本文档仅供参考) 问题现象 使用ETL的Excel文件上传功能,英文括号会两个双引号,见下图 image2024-2-27_10-1-26.png 原因 数据源节点使用的excel节点。由于可能存在xss攻击问题,excel节点对于单元格内的一些特殊字符进行转义处理,其中就包括英文的括号。因此英文 … 、用BI的excel文件数据源,将excel数据落到一张表中,然后ETL用关系数据源节点来读这张表; 方案三、用【数据清理】节点的正则替换(相关表达式:"([^"]*)"$),将引号转回括号,具体如下图。 image2024-2-27_10-5-4.pngETL调度
是指通过计划任务自动执行ETL,系统对ETL调度在状态、启用情况、执行时间上进行监控。 ETL工作流定制完成时,系统自动设置计划任务进行ETL调度。 “ETL调度”监控界面,显示ET调度的基本信息及执行情况的监控,如下图所示: image2021-7-16_14-17-17.png 该界面分为如下几个区: 搜索栏:用于通过ETL调度名称关键字模糊匹配,搜索出结果列表。英文不需要区别大小写。 状态栏:显示ETL调度不同状态的数据统计情况。各状态说明如下: 状态 说明 完成 表示已经成功完成抽取。 处理中 表示正在抽取中 初始 表示有抽取计划,但是还未抽取ETL调度
是指通过计划任务自动执行ETL,系统对ETL调度在状态、启用情况、执行时间上进行监控。 ETL工作流定制完成时,系统自动设置计划任务进行ETL调度。 “ETL调度”监控界面,显示ET调度的基本信息及执行情况的监控,如下图所示: image2021-7-16_14-17-17.png 该界面分为如下几个区: 搜索栏:用于通过ETL调度名称关键字模糊匹配,搜索出结果列表。英文不需要区别大小写。 状态栏:显示ETL调度不同状态的数据统计情况。各状态说明如下: 状态 说明 完成 表示已经成功完成抽取。 处理中 表示正在抽取中 初始 表示有抽取计划,但是还未抽取部署ETL
1、系统环境准备 自助ETL功能,是数据挖掘执行引擎功能的一部分,如果已经部署了数据挖掘执行引擎,则不用再单独部署自助ETL。 1.1 防火墙配置 配置防火墙,selinux相关操作,需要管理员权限。 为了便于安装,建议在安装前关闭防火墙。使用过程中,为了系统安全可以选择启用防火墙,但必须启用服务相关端口 … 需要开放端口 ETL 8899 如果确实需要打开防火墙安装,需要给防火墙放开以下需要使用到的端口 开启端口:8899 firewall-cmd --zone=public --add-port=8899/tcp --permanent 配置完以后重新加载firewalld,使配置生效自助ETL-源库SQL脚本
该节点为V10.5.8的版本功能;V10.5.15及之后迁移到了ETL作业流节点,在ETL作用流统一节点中,使用方式类似。 概述 源库SQL脚本支持一次手动输入多条SQL语言对数据库进行操作。 输入/输出 输入 一个输入端口 输出 一个输出端口,用于连接其它源库SQL脚本节点。 注意:源库SQL脚本节点只支持连接同类节点,即多个“源库SQL脚本”节点相互连接。 参数设置 参数名称 说明 备注 数据源 设置SQL脚本的数据来源。 必填 SQL脚本 用于编写选择的数据源所支持的SQL语法(不同数据库支持ETL高级查询
是指基于封装好的算法可视化组件,通过拖拉拽完成数据处理并获取数据结果。 适用情况:高级数据加工,大数据量加工。 注意:正常使用ETL高级查询的前提必须要先部署好数据挖掘的引擎。 ETL高级查询与自助ETL区别 1、ETL高级查询是依赖于数据模型模块而特有的功能,用于创建模型表;自助ETL是数据预处理的功能,是一个独立的功能模块。 2、ETL高级查询只允许输出的节点为“输出到MPP”;自助ETL允许输出节点支持所有“目标源”节点。ETL数据源报错-ASEUtil decrypt method failed
(该文档仅供参考) http://jira.smartbi.com.cn:28080/browse/EPPR-89203 http://jira.smartbi.com.cn:28080/browse/EPPR-89203 问题描述: ETL中关系数据源执行报错ASEUtil decrypt method failed,但执行引擎测试链接都能连接成功。 image2024-12-31_14-5-2.png image2024-12-31_14-5-28.png image2024-12-31_14-5-49.png 解决方案 此问题可以逐步排查: 1、主程序war包和数据挖掘引擎版本是否保持一致ETL执行节点报错:数据集节点抽取失败,请检查数据集是否配置正确
(本文档仅供参考) 问题场景 用户通过ETL将sql数据集同步到目标库CK数据库,sql数据集可以正常查询,执行ETL节点时报错(数据集节点抽取失败,请检查数据集是否配置正确)。 image2023-8-8_14-6-38.png 解决方案 在设置完数据集后,在ETL选择数据集前必在抽取设置选择提取方式,比如:实时,可正常保证ETL的数据集的抽取。 image2023-7-27_10-0-33.png快速创建自助ETL
当您发现,需分析的数据未满足需求,将其转换为数据模型或业务主题前,可通过自助ETL进行数据预处理;接下来将以处理”产品销售系列数据”为例,给您介绍如何快速使用自助ETL。 视频教程可参考快速创建自助ETL.mp4 1、示例描述 公司业务人员在对“产品销售数据”收集整理时,发现存在以下 … 地解决上述问题,将通过自助ETL对订单表、订单明细表进行数据预处理! 2、入口及界面 Smartbi侧边栏点击数据准备,打开数据准备界面后选择自助ETL,即可开始新建: 入口 ETL界面 image2022-2-26_16-29-25.png