第221页,共422页。 显示 4,215 条结果 (0.053 秒)
回写 - 回写修改数据,数据库没有执行insert
(本文档仅供参考) 问题现象: 回写规则添加了一个年参数作为主键,回写修改数据,数据库没有执行更新操作,而是变成插入新记录,如图所示 image2018-10-25 18:45:52.png 解决方案: 根据返回执行sql,发现分别有一条update和insert语句,update匹配不上,所以就直接执行了insert 最终发现是因为字段是CHAR(6)导致的,用了char(6),由于回写的是年份4个字符,数据库会自动使用空格补位,导致最终匹配不上 所以update不生效,就直接执行insert。可以将字段改成varchar2或者char(4)。 image2018-10-25 18:47:17.pngETL-关系目标追加节点写入数据逻辑
(文档仅供参考) 问题说明 为什么其他的节点执行查询很快,而到最后的节点写入数据的时候很慢,写入的逻辑是怎么样的呢? image2023-12-11_18-38-59.png 原因: 1、在V11中,可以针对每个关系数据源或者关系目标设置不同的fetchSize batchSize; 2、在V11之前,所有数据源 和 目标都受这两个参数的约束; fetchSize:表示一次读取N条记录到JDBC客户端内存中; batchSize:将N条INSERT语句改写成insert into table values ( N条记录 ),而非一条数据一个insert语句执行; 如出现执行慢的现象,需要综合因素考虑判断,是否ETL-tinyint类型映射成了Boolean类型
(本文档仅供参考) 问题描述: MYSQL原始表的类型是tinyint类型,原始数据该字段有(0,1,2)三个值,但是ETL读入时被转换成Boolean类型,导致用ETL导入后只剩下(0,1)两个值了,这如何解决? image2022-5-11_17-23-35.png 解决方案: 这是由于spark对于tinyint这种类型会自动映射成boolean。可在连接地址url中带上此参数项:tinyInt1isBit=false。例:jdbc:mysql://localhost:3307/test?tinyInt1isBit=false mysql://localhost:3307/test?tinyInt1isBitETL-doris中使用了分区如何执行回退sql
(本文档仅供参考) 问题 doris中使用了分区如何执行回退sql image2025-2-24_15-43-8.png 原因&解决方案 由于回退SQL用户只能指定where后面的条件部分,但doris使用分区后,删除数据时需要指定需要删除的分区,SQL格式:delete from table PARTITION(P2025.P2026) where sp='${sp},分区参数在 表后,因此不支持删除分区表数据。 可以通过作业流使用源库sql节点来实现。 https://s2-cs-pub-std.oss-cn-shanghai.aliyuncs.com/icon/tid8599数据挖掘-JOIN
概述 JOIN是基于连接字段和给定的连接方式,进行两个数据集字段的组合后得到新的数据表。 支持两个数据表的单个或多个字段为连接字段,连接方式包括左连接、右连接、内连接、全连接。 image2020-5-22 10:24:17.png 输入/输出 输入 两个输入端口,用于接收两个数据集。 输出 一个输出端口,用于输出连接后的结果。 参数设置 设置JOIN的参数: image2020-6-2 15:49:9.png 设置说明如下: 参数 说明 选择左表字段 用于选择通过左侧输入端口连接的前置节点资源输出的数据集的列电子表格跳转-点击图形传递指标轴数据给目标报表
7、进入跳转规则设置区第二页,选择目标报表。 image2020-6-15 17:45:24.png 8、设置参数传递:目标报表中参数“销售量小于”数据来源于源报表中对应柱子的数据,因此选择“指标轴”。 image2020-6-15 17:45:54.png 9、保存跳转规则,查看效果。 点击跳转源数据: image2020-6-15 17:47:4.png 跳转目标报表如下: image2020-6-15 17:47:32.png 资源下载:参数来源_指标轴 (2).xml 统一平台数据挖掘-JOIN
概述 JOIN是基于连接字段和给定的连接方式,进行两个数据集字段的组合后得到新的数据表。 支持两个数据表的单个或多个字段为连接字段,连接方式包括左连接、右连接、内连接、全连接。 image2020-5-22 10:24:17.png 输入/输出 输入 两个输入端口,用于接收两个数据集。 输出 一个输出端口,用于输出连接后的结果。 参数设置 设置JOIN的参数: image2020-6-2 15:49:9.png 设置说明如下: 参数 说明 选择左表字段 用于选择通过左侧输入端口连接的前置节点资源输出的数据集的列数据挖掘-随机森林特征选择
。 输入/输出 输入 一个输入端口,用于接收前置节点传下来的数据集。 输出 一个输出端口,用于输出增加了离散后的字段的数据集。 参数设置 参数名称 说明 备注 选择特征列 选择需要的特征列,必须是数值列 必填(特征列中不能含有null … ,需选择的特征数量为3,选择方法分类,衡量准则为gnin,其他参数默认。结果输出“featureSelector”列,表示为从4个特征列的值进行特征选择相关性较高的3个特征。如下图: 图片9.png 点击鼠标右键查看分析结果: 从4个特征列中选取3个相关性最高的特征进行展示。如下图: 图片10.png 随机电子表格跳转-点击图形传递指标轴数据给目标报表
7、进入跳转规则设置区第二页,选择目标报表。 image2020-6-15 17:45:24.png 8、设置参数传递:目标报表中参数“销售量小于”数据来源于源报表中对应柱子的数据,因此选择“指标轴”。 image2020-6-15 17:45:54.png 9、保存跳转规则,查看效果。 点击跳转源数据: image2020-6-15 17:47:4.png 跳转目标报表如下: image2020-6-15 17:47:32.png 资源下载:参数来源_指标轴 (2).xml 统一平台数据挖掘-随机森林特征选择
。 输入/输出 输入 一个输入端口,用于接收前置节点传下来的数据集。 输出 一个输出端口,用于输出增加了离散后的字段的数据集。 参数设置 参数名称 说明 备注 选择特征列 选择需要的特征列,必须是数值列 必填(特征列中不能含有null … ,需选择的特征数量为3,选择方法分类,衡量准则为gnin,其他参数默认。结果输出“featureSelector”列,表示为从4个特征列的值进行特征选择相关性较高的3个特征。如下图: 图片9.png 点击鼠标右键查看分析结果: 从4个特征列中选取3个相关性最高的特征进行展示。如下图: 图片10.png 随机