第5页，共87页。 显示 865 条结果 (0.021 秒)
ETL节点执行报错：Data too long for column 'DESCRIPTION' at row 1
（本文档仅供参考） 问题描述 客户在使用ETL数据处理后，进行存储时，提示：Data too long for column 'DESCRIPTION' at row 1 image2023-7-4_11-19-12.png image2023-7-4_11-21-25.png 解决方案 经日志排查“DESCRIPTION”该字段实际长度大于字段设置长度，由原来的text 类型改为：LONGTEXT 即可。自助ETL执行显示排队中
(文档仅供参考) 问题说明 执行ETL显示排队中，怎么查看排队中怎么看当前队伍有哪些？以及是根据什么来判断是否需要排队？ image2023-12-5_15-43-58.png 解决方案： 在【系统运维-数据挖掘配置】中【执行引擎-引擎配置】的【最大运行流数】和【最大等待流数】配置可查看当前系统两个队列的长度设置。当在线实验数已经达到最大并发数，再启动的ETL JOB就会进入等待队列。 image2023-12-5_15-41-1.png 当前系统有多少ETL JOB队列在执行，可在【系统监控-实验监控】的【详细内容】中查看。 image2023-12-5_15-41-33.png中止执行中的ETL
（本文仅供参考） 问题描述： ETL中点击了停止，但是一直停不掉，这时如何去中止执行中的ETL呢 2022-11-18_154309.png 解决方案： 补充说明：点停止，停止时间跟数据库有关系，一般等一会就会停，有一些会等1分多钟。如果确实遇到卡死了，停不掉，再操作以下步骤。 步骤1、到spark界面，点击Jobs，找到对应的Jobs Id 选择kill即可 入口1.系统监控-实验监控-计算任务 入口2.单机去http://ip:4040/jobs/ http://ip:4040/jobs/ ，集群去http://ip:7077/jobs/ http://ip:4040/jobs[操作权限]-角色支持ETL操作和资源权限控制
概述 对ETL相关节点作更细致的操作权限控制 功能配置入口 点击运维设置，打开用户/机构/角色管理，找到更改ETL树结构设置，打开新建角色，接下就可以对ETL功能和节点进行赋予权限操作了，如下图所示。 image2024-1-17_15-1-47.png image2024-1-17_15-4-10.png image2024-1-17_15-9-6.png 配置 目前ETL支持操作权限配置的功能和节点有：导入导出流程定义、Python脚本、目标源目录及节点、Spark SQL脚本、定时任务、数据源目录及节点、下载预览数据 操作演示 角色授权 整个操作流程如下图所示，新建角色-》操作授权-》保存，目录新建完成通过作业流参数获取每天ETL执行状态
1 概述 作业流的参数主要是作为值传递作为。下面以一个场景进行说明。 2 功能说明 场景说明 某些银行项目有自己的ETL工具,但也使用Smartbi的ETL，需要先跑完自己的ETL，才开始跑Smartbi 的ETL； 客户自己的ETL工具,会设置时间频率跑定时任务，跑完会每定在指定表生成一条记录，记录的状态1为成功，其他值则代表失败，如下表格： 日期 状态 执行时间 2022-02-01 0 2022-02-01 01:13 2022-02-01 1 2022-02-01 02:10 那Smartbi 每天怎么知道外部ETL有没有跑完呢？这就需要通过参数动态的获取ETL高级查询-功能节点
%AE%E6%BA%90%E7%A4%BA%E4%BE%8B%E6%95%B0%E6%8D%AE%E6%BA%90 示例数据源是指从系统中读取内置的示例数据源。 数据查询 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=69737202#ETL%E9 … %9A%84%E8%BE%93%E5%85%A5%E5%92%8C%E8%BE%93%E5%87%BA-Excel%E6%96%87%E4%BB%B6%E6%95%B0%E6%8D%AE%E6%BA%90 Excel文件数据源是指将Excel文件中的数据导入到Smartbi中。 高级ETL查询输出到MPP自助ETL-节点介绍
/pages/viewpage.action?pageId=114996974 关系数据源，是指从关系数据库中读取表数据。 数据查询 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=69737202#ETL%E9%AB%98%E7%BA%A7%E6 … 导出数据到HDFS(追加／覆盖)：支持将输出的结果数据实时保存到HDFS文件系统中，并支持从HDFS文件系统中下载到本地。 3. 转换（数据预处理） 自助ETL拥有强大的数据处理功能，对各种结构化数据，可进行排序、去重、映射、行列合并等处理，满足客户日常数据处理的需要。使用数据预处理可以： 提高自助etl自定义执行时间
（本文档仅供参考） 问题说明： 在自助etl中，想要实现比如每个月的8号到最后一天，每天都执行自助etl。 解决方案： 可以自己写CRON表达式实现定时发送的效果，如下截图cron表达式表示每个月的8号到最后一天中每天执行计划任务进而实现自助etl时间自定义执行。 image2023-3-13_17-19-0.png 另对于cron表达式可视化设置可参考该文档https://www.bejson.com/othertools/cron/ https://www.bejson.com/othertools/cron/： image2023-3-13_17-19-47.pngETL抽取数据异常，提示该资源正在执行中，可重新打开查看最新状态
（本文档仅供参考） 问题描述 客户使用任务计划执行ETL时，报该资源正在执行中，可重新打开查看最新状态。 image2023-7-31_12-47-57.png 解决方案 1、重新打开资源，同步状态 2、系统监控中停止 3、系统运维中重启计算引擎 4、改知识库中的状态 PS：按上诉顺序进行操作，若已解决则无需继续往下操作。 image2023-7-31_12-48-42.png 注：如果在查看错误日志中，发现高速缓存异常时，可以看一下是否是高速缓存库 连接数据问题。etl目标表不存在问题
（本文档仅供参考） 问题描述 数据源和目标源是使用的同一个表，数据源可以检测到，目标源就检测不到了，并且在进行文件导入的时候会出现未知错误问题。 image2024-9-29_15-28-4.pngimage2024-9-29_15-28-28.pngimage2024-9-29_15-28-46.png image2024-9-29_15-27-16.png 解决方案 检查数据源连接是否正常连接上，其次查看对应schema及表名是否都对得上，出现该问题一般是由于schema没对上导致的问题，按上图例子来说把schema名称修改成test1后再进行同步表操作则etl正常执行，文件
