第1页，共87页。 显示 865 条结果 (0.023 秒)
自助ETL-前端接口说明
注意：数据挖掘中的接口和这里自助ETL的接口是一致的。 # install 初始化接口 **触发时机**：</strong>自助ETL/挖掘创建时。 **作用**：此时自助ETL/挖掘刚进行创建，此时开发者可以在此接口中通过on方法添加对etl事件的监听，并进行一些数据准备等初始化操作。 **示例代码 … datamining.setCustomSaveCallback(function (result) { console.info(result) }) }) } } export default SaveDialogExtender ``` # 扩展接口 扩展接口是自助ETL/挖掘中提供的外部对系统进行修改ETL自动化工程
1. 概述 为了简化数据库表的迁移操作，使项目实施流程标准化，降低项目实施门槛，提高项目实施效率。产品中提供了ETL自动化工具，它能够自动生成自助ETL和物理表，用户可以执行生成的ETL实现物理表的灌数操作。同时，它还允许用户手动修改对应的Excel规则模板，实现更细致的配置。 2. 功能入口 在“数据准备“界面左侧资源树的“ETL自动化”节点上，右键选择 ”新建 → ETL自动化"。 image2024-12-17_16-4-7.png 3. 流程说明 ETL自动化工程的操作流程如下： image2021-9-9_16-24-3.png 各流程节点的说明如下： 新建ETL自动化：指创建新建ETL创建ETL高级查询
1 概述 ETL高级查询是可以将数据源表或者数据集中的数据进行清洗、聚合、关联和合并等操作，并将加工后的数据输出，能够快速的完成数据准备。 1、使用 ETL高级查询 的前提必须要先部署好数据挖掘的引擎，否则无法正常使用。 2、ETL高级查询支持查询动态抽取(原按次抽取，需要2025.06.04之后的war包)。 2、ETL高级查询 目前只支持抽取模式。 3、其他类型转成 ETL高级查询 之后无法再转回去，这是不可逆操作。 4、如果数据模型原来是直连模式，增加ETL高级查询之后，会强制变成抽取模式。详情可查阅：直连&抽取。 5、关于ETL功能，还可以查看：自助ETL。 2 生成大宽表 用 ETL高级查询 生成 大自助ETL-界面介绍
1. ETL工作流 ETL工作流必须以数据源（输入）为起点，以目标源（输出）为终点：从数据源中抽取数据，然后利用内置数据预处理（转换）节点进行数据加工处理，再将处理后的数据输出到目标源中。 image2019-8-6 10:54:55.png 数据源（输入）支持的数据库有：MySQL，Oracle … %BA%90 章节。 2. 功能入口 ETL工作流开发界面的操作入口： 系统导航栏中选择 数据准备，在左侧资源树上点击“自助ETL → 新建 → 自助ETL”菜单项，进入“新建自助ETL”界面： image2023-7-3_10-14-46.png 3. 界面介绍 3.1 ETL工作流界面同一台服务器部署两套ETL
（本文档仅供参考） 问题描述 同一台服务器中，部署一个开发环境、一个演示环境。 因为双向通信，ETL需要分别部署一套。 操作步骤 1、第1个ETL启动后，修改 conf下的 端口分别为 7899 7900。（conf目录下 experiment-application.properties、 service-application.properties 中的8899、8900端口号。） 2、重启第1个ETL 3、上传第2个ETL，解压到新目录 4、启动第2个ETL，提示已经启动了 提示：warn: smartbix.datamining.engine.experiment.ExperimentApplication如何使用ETL的"Foreach 循环容器"节点？
1 概述 读取文件数据主要有以下方式： 使用Excel导入模型：要根据模板导入，并且一次只能导入一个文件 数据源/ 加载文件数据: 一次只能导入一个文件 ETL的”FTP数据源"节点: 一次只能读取一个文件 结合“Foreach 循环容器”就能做到一次性批量读取多个excel文件数据并且合并成大宽 … 分析； 具体操作步骤如下： 1、准备ftp文件 先把excel、csv文件上传到ftp，如下图： wenjian.png 所有的文件内容格式要一致： 3.png 由于Foreach循环器只是读取文件的名称FileName和sheetName,真正要读取ftp数据是通过ETL节点“FTP数据源”，所以先要建立ETL资源自助ETL/数据挖掘二次开发
ETL增加主键列
（本文档仅供参考） 问题说明 数据本身没有主键列，在ETL数据处理中，怎么增加一个主键列呢？ 解决方案 通过【派生列】节点，用 uuid 函数新增一个主键列，如下： image2025-4-30_17-10-15.png image2025-4-30_17-10-34.png etl生成唯一id自助ETL
，因为数据抽取过程有延时性，所以不适合于创建实时数据报告。 ETL 通常是对多来源的异构数据，进行抽取、清洗转换等处理工序后，得到具备完整性、一致性的数据，然后将其输出到新数据库中。 Smartbi 自助ETL 模块以工作流的形式，从源库抽取数据，然后通过易于操作的可视化方式，将数据加工成具备语义一致性与完整性的数据，然后输出到目标库。我们通过封装 ETL 算法，屏蔽复杂的技术概念，实现了让业务人员也能进行自助ETL 操作的目标。另外，在数据模型中也提供了“高级ETL查询“功能，让用户在构建数据模型的过程中，也能直接进行复杂的数据处理，提升了模型构建的效率。 更新链接地址ETL自动化工程
为了简化数据库表的迁移操作，使项目实施流程标准化，降低项目实施门槛，提高项目实施效率。产品中提供了ETL自动化工具，它能够基于简单的模板配置，自动生成自助ETL和物理表，用户可以执行生成的ETL实现物理表的灌数操作。同时，它还允许用户手动修改对应的Excel规则模板，实现更细致的配置。 它主要用来解决ETL操作中比较简单但繁琐的贴源层数据的自动化处理，它通过简单的界面话配置操作，配置源库和贴源层的表和字段的关系，自动创建ETL流程，简化繁琐的操作。 功能入口 入口：在“数据准备“界面左侧资源树的“ETL自动化”节点上，右键选择 新建 > ETL自动化。 image2024-9-14_13-48-37.png 操作流程
