第8页，共403页。 显示 4,030 条结果 (0.037 秒)
ETL-关系目标追加节点写入数据逻辑
(文档仅供参考) 问题说明 为什么其他的节点执行查询很快，而到最后的节点写入数据的时候很慢，写入的逻辑是怎么样的呢？ image2023-12-11_18-38-59.png 原因： 1、在V11中，可以针对每个关系数据源或者关系目标设置不同的fetchSize batchSize； 2、在V11之前，所有数据源 和 目标都受这两个参数的约束； fetchSize：表示一次读取N条记录到JDBC客户端内存中； batchSize：将N条INSERT语句改写成insert into table values ( N条记录 )，而非一条数据一个insert语句执行； 如出现执行慢的现象，需要综合因素考虑判断，是否ETL-节点预览数据块，但里面查询执行慢
(文档仅供参考) 问题说明 为什么etl预览窗口很快，而数据查询就很慢？ image2023-12-11_18-27-55.png 数据查询—sql查询 image2023-12-11_18-26-34.png 原因： etl窗口预览取数逻辑： 1、预览数据在 引擎安装目录\data\middata 目录下以csv格式存储； 2、预览数据存储多少行数据成CSV文件，由如下配置决定； image2023-12-11_18-28-52.png 而数据查询节点查询：其对应sql查询模块的查询，对应有count全表，当全表数据量较大时，sql则较慢，对应和数据库性能相关。 注：如涉及到慢的情况，如多方面因素思考其ETL-自动推断类型日期
（本文档仅供参考） 问题说明 在Excel里面设置单元格格式为日期，然后在ETL中通过Excel文件导入、读取，勾选了自动推断类型，但是日期列推断出的结果却是字符串。 image2024-10-26_17-34-40.png image2024-10-26_17-34-7.png 解决方案 ETL自动推断类型依赖于spark的inferSchema，数据要满足yyyy-MM-dd HH:mm:ss或者yyyy-MM-dd才会被推导成日期时间或日期。 image2024-10-26_17-38-1.png 或者也可以考虑通过相关节点【日期时间】【日期计算】进行相关格式的转换处理。 httpsETL-节点不能执行该节点
（仅供参考） 问题描述： 在使用ETL过程中，发现有些etl不能执行对应的节点，对应是灰色的，可以执行到此处。另外新建的资源就能正常点击操作。 image2023-8-27_21-25-28.png 问题原因： ETL资源设置了不缓存。在不缓存的情况下，由于执行该节点，需要基于上一节点的缓存进行执行，如没有上一节点的结果缓存，则该功能不单独支持。如需要执行该节点功能，则设置etl缓存功能即可，见下图设置： image2023-8-27_21-26-48.png image2023-8-27_21-30-12.pngETL-实验调度的时间节点数据如何统计？
（本文仅供参考） 问题描述： 如何获取ETL的时间节点数据进行统计，实验监控中的时间是可以从知识库表里查询出来的吗？具体是哪张表呢？ image2022-4-14_11-59-11.png 解决方案： 可以在知识库中tx_daginstance这张表中获取相关数据，没行数据表示运行后的dag实例，每次运行就是一个实例，因此一个dag实验对应多个实例。其中，通过一个dagId可以查询到多个dag实例。 另，dagId与资源树中的c_id 是一样的，也可以跟t_restree结合起来查询，获取实验名称等信息。 image2022-4-14_12-2-50.pngSQL查询中如何使用SQL写模糊查询
（本文档仅供参考） 问题说明 在SQL查询中，想要写SQL来实现参数模糊查询，但如果按照 where{[ 字段 like '% %' ]} 的方式写的话会报如下图错误： image2024-6-29_9-27-4.png 解决方案 正常参数替换后会带有单引号的，代入sql中就会报错。 方式一：%与参数使用字符拼接起来 image2024-6-29_9-25-59.png 方式二： 将参数设置成其它类型 https://wiki.smartbi.com.cn/download/attachments/119282930/image2023-10-27_18-28-34.png?version数据模型抽取模式下如何展示实时数据
（本文档仅供参考） 问题： 数据模型中java查询、存储过程查询等子查询默认会走抽取模式，抽取模式需要定时抽取才会展示新的数据，但是实际数据变化时不规律的，无法定时抽取，如何展示实时数据？ 解决方案： 可采用时间参数+动态查询（按次抽取）方式实现，由于每次打开参数默认值不一样从而触发抽取，最终达到展示实时数据效果。 以脚本查询为例，操作步骤： 1、创建时间参数，参数默认值设置为获取当前系统时间，具体到秒 image2024-7-30_17-8-5.png 2、创建脚本查询，查询中需引入时间参数 image2024-7-30_17-11-53.png 3、设置为按次抽取高速缓存抽取后日期数据不正确
（本文档仅供参考） 问题现象 日期类型数据抽取到高速缓存库后，日期数据显示不正确。 image2024-1-31_18-34-27.png image2024-1-31_18-35-30.png 原因 对于DateTime类型（含时分秒）：最大值为'2106-02-07 06:28:15'。这是因高速缓存库基于Unix时间戳（自1970年1月1日0点开始计数），而Unix时间戳在2106年02月07日将超过32位整数的最大值，从而导致溢出。 故，9999-09-09 这样值无法存储，抽取后的数据不正确。 处理方案 建议是将字段由日期类型改为字符串类型后再进行抽取。 验证如下电子表格 ⬝ 报表数据集筛选器不生效
（本文档仅供参考） 问题现象 报表数据集中的模型数据集中使用了筛选器筛选对应数据，发布预览时看到的数据与数据预览时数据不一致。 image2023-11-9_9-45-46.pngimage2023-11-9_9-50-28.png 问题原因 在模型中选择了对应筛选器值后，又在参数映射中映射了对应参数，映射的参数会对模型数据集筛选器的值进行覆盖，导致模型数据集中查看到的数据和发布预览的数据不一致。 解决方案 1、删除参数管理中的对应参数映射关系 image2023-11-9_10-16-36.pngimage2023-11-9_10-16-17.pngETL-tinyint类型映射成了Boolean类型
（本文档仅供参考） 问题描述： MYSQL原始表的类型是tinyint类型，原始数据该字段有（0，1，2）三个值，但是ETL读入时被转换成Boolean类型，导致用ETL导入后只剩下（0，1）两个值了，这如何解决？ image2022-5-11_17-23-35.png 解决方案： 这是由于spark对于tinyint这种类型会自动映射成boolean。可在连接地址url中带上此参数项：tinyInt1isBit=false。例:jdbc:mysql://localhost:3307/test?tinyInt1isBit=false mysql://localhost:3307/test?tinyInt1isBit
