第4页，共87页。 显示 865 条结果 (0.022 秒)
自助ETL-功能使用
ETL工作流定制界面： 分区 说明 工具栏 用于对当前流程进行的操作 节点资源区 显示当前流程可拖拽使用的资源，最顶端的文本框支持输入资源名称关键字模糊匹配搜索结果。 画布区 用于定制ETL工作流。 节点配置区 用于对"画布区"所选资源的参数和属性进行配置。该区默认显示当前流程的别名、描述及创建更新时间信息。 数据预览面板 用于查看选择的节点输出的数据。 节点资源区用于显示当前流程可拖拽使用的资源，最顶端的文本框支持输入资源名称关键字模糊匹配搜索结果。 节点分类名称 说明 数据源 该部分为ETL流程数据输入节点。 目标源 该部分为ETL流程数据结果自助ETL-应用示例
自助ETL的主要应用场景是将多来源的异构数据，进行处理后得到具备完整性、一致性的数据模型。使用自助ETL可以提高数据的质量、适应不同的数据分析方法。 需求场景1：数据预处理 想要对产品的销售情况进行分析，数据源中有一张产品销售表，先根据需求对数据进行处理，然后进行数据分析。 实现方案 数据基础 数据源中“产品销售表”的数据预览如下： image2020-5-7 13:57:4.png 操作步骤 1、在系统主界面的快捷菜单中选择 数据准备 > 自助ETL，进入“新建ETL”定制界面ETL自动推断类型-日期
（本文档仅供参考） 问题说明 在Excel里面设置单元格格式为日期，然后在ETL中通过Excel文件导入、读取，勾选了自动推断类型，但是日期列推断出的结果却是字符串。 image2024-10-26_17-34-40.png image2024-10-26_17-34-7.png 解决方案 ETL自动推断类型依赖于spark的inferSchema，数据要满足yyyy-MM-dd HH:mm:ss或者yyyy-MM-dd才会被推导成日期时间或日期。 image2024-10-26_17-38-1.pngETL排序不生效
（文档仅供参考） 问题描述： 客户在使用ETL流程增加了排序，输出到一个结果表，然后使用这个结果表作为数据源输入，发现结果表的数据变成乱序了。 image2023-8-1_18-46-4.png image2023-8-1_18-47-8.png 问题原因： ETL的排序是为了生成数据，用来给查询的时候作为排序依据，输出到数据表中并不会有顺序。例如： 在ETL中排序后，生成RowNumber派生列； 以后查询的时候就可以把RowNumber作为Order by 列。 解决方案： 查询的时候，在查询语句中添加Order by。ETL节点不能执行该节点
（仅供参考） 问题描述： 在使用ETL过程中，发现有些etl不能执行对应的节点，对应是灰色的，可以执行到此处。另外新建的资源就能正常点击操作。 image2023-8-27_21-25-28.png 问题原因： ETL资源设置了不缓存。在不缓存的情况下，由于执行该节点，需要基于上一节点的缓存进行执行，如没有上一节点的结果缓存，则该功能不单独支持。如需要执行该节点功能，则设置etl缓存功能即可，见下图设置： image2023-8-27_21-26-48.png image2023-8-27_21-30-12.pngETL执行节点执行报错 引擎异常: Unrecognized field "accessToken"
（本文档仅供参考） 问题描述： 现象1：客户在执行节点时一直在报引擎异常: Unrecognized field "accessToken" image2024-7-16_10-16-50.png image2024-7-16_10-17-47.png 现象2：更新版本后python节点执行失败，提示 Unrecognized field "id" image2024-11-8_9-44-24.png 解决方案： 第一步：先排查新建etl是否正常，同样的报错 第二步：看看当前环境版本，若发现ETL版本不一致，需更新ETL版本至匹配版本。更新步骤可参考：部署Smartbi数据挖掘引擎/4.1 更新数据挖掘ETL执行报：connection reset或查询慢问题排查思路
（本文档仅供参考） 问题说明 ETL执行报错，报错日志显示：数据库返回慢，最后连接被重置了，驱动抛出了connection reset错误： image2024-7-15_10-6-53.png 解决方案 类似驱动查询慢问题排查思路： （1）根据节点输出的日志确认实际报错原因； （2）实际耗时可能并不是报错耗时，建议新建SQL数据集或数据快查直接执行对应的确认执行时长，如果SQL执行快的话，可再进一步跟进是什么原因； （3）若普通SQL查询就慢，可用通过JSP页面测试确认耗时：Java调用jdbc驱动测试； （4）若JSP页面测试很快，请将信息反馈至官方支持；若JSP页面测试也是一样慢，请检查数据挖掘的驱动跟项目如何使用ETL的"Foreach 循环容器"节点？
1、概述 读取文件数据主要有以下方式： 1)使用Excel导入模型：要根据模板导入，并且一次只能导入一个文件 2)数据源/ 加载文件数据: 一次只能导入一个文件 3)ETL的”FTP数据源"节点: 一次只能读取一个文件 而在V10.5.8版本中，支持一次性批量读取多个excel文件数据并且合并成大宽 … 分析； 2.1 操作步骤 2.1.1、准备ftp文件 先把excel、csv文件上传到ftp，如下图： 11.png 所有的文件内容格式要一致： 3.png 由于Foreach循环器只是读取文件的名称FileName和sheetName,真正要读取ftp数据是通过ETL节点“FTP数据源”，所以先要建立ETLStarRocks做ETL连接超时
（本文档仅供参考） 问题说明 在系统中连接StarRocks数据源，做为ETL的关系目标表录入数据时，报连接超时，BI和挖掘是部署在一台机器上的，BI连接数据库是成功的，但是ETL报连接超时。 2024-09-22 22:01:29.754 [745165] ERROR node.GenericNode.handleExecuteError:149 - Node execution failed.(id:ad2f9f28c9afd47a2de28a5e15d46e07,name:JDBC_DATATARGER_OVERWRITE作业流如何识别“外部ETL”跑完状态?
1、概述 在V10.5beta版本中，识别“外部ETL”跑完状态有以下方法： 1）“源库脚本"节点: 需要写SQL语句并且该节点无法与其他节点关联，需要单独建一个ETL资源，不但操作麻烦而且增加了维护成本。 而V10.5.8，支持”标识“存放在ftp上，也支持”标识“存放在具体的表中，如下图, 扩展了识别方法，操作也更为直观简单，节省了实施成本，确保了数据正确. 未命名文件 (3).png 2、场景举例：通过"ftp方式”检测文件是否存在 某银行项目，客户有自己的ETL工具，会设置时间频率跑定时任务，跑完会把定时任务文件输出到ftp下，并且会生成一个ok.csv文件；如果存在了ok文件，那么
