第11页，共87页。 显示 865 条结果 (0.023 秒)
自助ETL执行报错：Incorrect string value: '\xAC...' for column '***' at row 1
（文档仅供参考） 问题描述 使用关系目标表节点时，执行报错Incorrect string value: '\xAC...' for column '***' at row 1 image2023-12-29_15-55-59.png image2023-12-29_15-57-59.png 解决方案 该报错是mysql的编码问题，若是字符集是UTF8，配置修改参考如下。 mysql5/8： JDBC URL中加 useUnicode=true&characterEncoding=utf8 （推荐） mysql8: JDBC URL中加 useUnicode=true&characterEncoding=ETL任务执行数据追加慢
（本文档仅供参考） 问题说明 客户使用v10.5版本，在查询的时候还是比较快，但是数据抽取的非常慢 image2023-12-29_10-57-14.png 解决方案 查看了后以日志，确认客户数据库为：阿里adb3.0，发现数据库连接参数没有添加rewriteBatchedStatements=true 造成了。 添加此参数即可解决ETL星环自主建表写入数据报错
（仅供参考） 问题描述： 关系目标表执行报错，提示：数据格式异常，请检查数据格式是否正确。但在数据源表数据快查中是可以预览数据的。但节点却报错了。 节点日志分析：error, you should set transaction. type before any DCL statement, type[inceptor, holodesk] image2024-1-19_16-12-16.png image2024-1-19_16-14-49.png 解决方案： 根据日志报错关键信息，并非数据格式类型不匹配导致。报错为数据库驱动反馈的异常 error, you should set transaction. ty阿里云部署的mysql在ETL中数据插入慢
问题现象 数据源连接使用MYSQL连入Aliyun ADS。(若操作系统为阿里 龙蜥操作系统，也存在性能问题，解决方案同下)，在执行数据插入时平均一条数据插入15秒。 问题原因 产品使用insert into 单条value方式，jdbc驱动将sql发送给mysql去执行是每一次都需要去发请求，导致时间都消耗在请求过程中。可参考阿里云文档：https://developer.aliyun.com/article/621133 https://developer.aliyun.com/article/621133 解决方案 数据源连接参数中添加参数 rewriteBatchedStatements=true自助ETL关系目标追加节点写入数据逻辑
(文档仅供参考) 问题说明 为什么其他的节点执行查询很快，而到最后的节点写入数据的时候很慢，写入的逻辑是怎么样的呢？ image2023-12-11_18-38-59.png 原因： 1、在V11中，可以针对每个关系数据源或者关系目标设置不同的fetchSize batchSize； 2、在V11之前，所有数据源 和 目标都受这两个参数的约束； fetchSize：表示一次读取N条记录到JDBC客户端内存中； batchSize：将N条INSERT语句改写成insert into table values ( N条记录 )，而非一条数据一个insert语句执行； 如出现执行慢的现象，需要综合因素考虑判断，是否数selectdb和starrocks在etl中建表支持指定副本数
描述：selectdb和starrocks数据库在建表时支持指定副本数。在数据连接中高级自定义参数配置指定的副本数，则该连接创建表时均以该数值为副本数，若不填写，默认为1。其中selectdb和starrocks的key分别为： selectdb：smartbi-selectdb-replication-num starrocks：smartbi-starrocks-replication-num 示例如下： screenshot-1.png screenshot-2.pngETL实现自动完成列拆分后所有列 列转行效果
（本文档仅供参考） 问题描述： 列转行的场景，当在前面完成列拆分的时候，若不同时候，可能拆分的列数不同，在前面的节点中产生的新字段列，列转行节点，则无法自动选择逆透视列里新的字段。这样甚至就需要每次去配置多出的列，不适合自动化计划任务，客户希望能够有个配置默认列转行所有拆分的列，如何实现？ 如示例中：张三李四，列拆分后有4个拆分列。但若后期有如 赵五，有1,2,3,4,5,6 ,甚至更多的情况，列转行节点需要手动添加，不符合场景需要。 image2023-7-25_9-22-25.png 解决方案： 1、通过数据查询节点，查询出对应的数据。 image2023-7-25_14-2-5数据连接支持情况-汇总
数据模型 生成日期表 数据模型 分区 指标模型 作为指标库 自助ETL 关系数据源(读) 自助ETL 关系表(追加) 自助ETL 关系表(覆盖) 自助ETL 关系表(插入或更新) 自助ETL 建表 自助ETL 删除回退 数据模型引擎 V2.0 … 数据源 多catalog 数据源 存储过程 数据模型 导入文件 数据模型 生成日期表 数据模型 分区 指标模型 作为指标库 自助ETL 关系数据源(读) 自助ETL 关系表(追加) 自助ETL 关系表(覆盖) 自助ETL 关系表(插入或更新202506产品更新说明
过滤层级数据；仪表盘组件全面统一使用新版排序逻辑，支持多字段与分区排序。 2、数据治理效率显著提升 ETL高级查询支持动态抽取，确保实时数据可用性。 优化数据模型保存、多维引擎查询性能，提升系统响应速度，保障业务稳定运行。 数据模型校验新增“一键修复”功能，自动清理三类“脏数据”，降低运维成本 … 知识复用率。 多选下拉筛选器支持日期控件模式，解决离散日期选择效率问题。 私有企业微信集成插件，满足内网环境安全对接需求。 3 详细更新内容 +表示新增，^表示增强，<表示变更。 3.1 数据准备 ^ ETL高级查询支持查询动态抽取 之前版本中，数据模型中的“ETL高级查询”不支持查询动态如何进行数据的增量抽取
1. 概述 我们在建设数据仓库、数据集市的过程中，通常使用 ETL 工具把数据从“源库”抽取到“目标库”。“源库”中的历史数据，通常数据量特别大，比如有几千万甚至数亿条记录，而历史数据通常又不发生变化。在抽取数据的过程中，如果我们选择全量抽取，对于那些根本不会发生变化的历史数据，也抽取一遍，不仅没有任何意义，还要浪费大量的资源和时间。尤其是当有数亿条数据、并且需要进行复杂的数据加工时，很可能要耗费数小时，根本无法满足数据加工的时效性要求。因此，我们可以选择在进行 ETL 抽取的过程中，对数据进行 增量抽取，只抽取发生变化的部分。这样就可以让数据抽取的数据量变少，数据加工的时间变短，从而满足时效性要求。 2. 场景说明 我们
