第12.3页，共30页。 显示 292 条结果 (0.046 秒)
ETL-关系目标追加节点写入数据逻辑
(文档仅供参考) 问题说明 为什么其他的节点执行查询很快，而到最后的节点写入数据的时候很慢，写入的逻辑是怎么样的呢？ image2023-12-11_18-38-59.png 原因： 1、在V11中，可以针对每个关系数据源或者关系目标设置不同的fetchSize batchSize； 2、在V11之前，所有数据源 和 目标都受这两个参数的约束； fetchSize：表示一次读取N条记录到JDBC客户端内存中； batchSize：将N条INSERT语句改写成insert into table values ( N条记录 )，而非一条数据一个insert语句执行； 如出现执行慢的现象，需要综合因素考虑判断，是否麒麟系统docker启动tomcat镜像报错：unable to allocate file descriptor table - out of memory
（本文档仅供参考） 问题描述 docker环境启动tomcat镜像报错：unable to allocate file descriptor table - out of memory image2023-9-28_14-20-1.png 问题原因 报内存溢出错误，但是jvm参数远小于服务器物理内存，经排查缺少取消打开文件数限制的配置 image2023-9-28_14-27-52.png 解决办法 取消打开文件数限制： 在/etc/security/limits.conf 文件的末尾加入以下内容(注意： * 不能省略)： * soft nofile 65536会话管理没有会话记录
（本文档仅供参考） 问题说明 会话管理没有会话记录 image2019-9-25 13:54:3.png 解决方案 这是因为将web.xml文件的会话超时时间改成"0"或负值了，这样设置原本是为了让会话不超时，但是将会话超时配置为不超时，会导致会话一直占着内存，后面也很容易导致内存溢出，如果是为了实现会话不超时，可将会话失效时长调大，这样能满足需求。 session-timeout的正值要大于2，不然很可能会自动超时，这正是session-timeout设置为0，导致没有会话记录的原因。 image2019-9-25 13:54:49.pngSmartbi 前后端分离部署_nginx方案
。levels=1:2 表示开启1、2层级(第2层级理论有16*256个目录)。 ## keys_zone 指定一个共享内存空间，所有活动的键和缓存数据相关的信息都被存放在共享内存中，这样nginx可以快速判断一个request是否命中或者未命中缓存，1m可以存储8000个key，10m可以存储80000个key增量抽取介绍
的场景：覆盖多少天/季度等，即每次抽取，根据日期及滚动周期将数据库中新增以及部分历史数据抽取到MPP数据库中，其中历史数据将会覆盖原数据。 4 数据抽取耗时对比 硬件配置: 内存8G，CPU8核；测试数据库: MySQL 8.0 数据模型如下图： uodate.png 4.1【orders】入库方式"追加 … 耗时大概90s。 问题2：我的机器配置是：X86架构 32核； 内存 128G，硬盘1TB+。 如果要实现 "5.1.1 "、"5.1.2"章节的场景，抽取时间大概是多少？ 答：此配置远比上面测试环境高，那么抽取耗时也会比上述测试数据低一些。Excel导入模板介绍
的数据。 全量：全量就是在数据导入到数据库之前，把数据库中表的数据先清除了之后再导入。 主键校验方式 数据处理模式选择全量时，支持配置主键校验方式。 如果Excel文件数据量较少，使用 内存校验 可以优化性能；如果Excel文件数据量较多时，请选择 数据库校验。 内存校验：通过Java校验Excel … 时，支持配置主键校验方式。 如果Excel文件数据量较少，使用 内存校验 可以优化性能；如果Excel文件数据量较多时，请选择 数据库校验。 内存校验：通过Java校验Excel文件自身内容是否存在主键冲突； 数据库校验：通过数据库校验Excel文件自身内容是否存在主键冲突； 主键冲突处理规则⬝ 部署smartbiMPP集群多副本集群_keeper
后需要重启服务器才能生效 sed -i 's/=enforcing/=disabled/g' /etc/selinux/config 建议关闭服务器虚拟内存，避免查询期间使用虚拟内存导致查询变慢和查询异常。 swapoff -a #临时关闭 1.3.2 取消打开文件限制 在 /etc … /config.xml，放开注释即可。IPV4地址和IPV6地址只能配置一个，否则会出现端口冲突的报错。 开启监听0.0.0.0的配置。 worddavcc68c7020f47279ebed5c67dcdf1ecf9.png 2.2.7 设置smartbimpp内存大小 修改的配置文件/etc/clickhouse-server系统监控-监视
监视页面以图形方式列出Smartbi服务JVM的CPU、内存以及会话数，该页面每2秒更新一次数据。 监视.png 操作说明 在监视页面上，可以进行“停止监控”、“清空”、“导出”、“导入”、“执行垃圾回收”等操作，细节说明在下方。 监视1.png 停止监控 系统默认启动后自动进行监控，可点击该按钮停止监控。 不建议停止监控，否则出现性能问题时无法得知服务器CPU与内存最近一段时间的使用信息从而难以定位问题。 系统自动监控的设置位于 系统运维 > 系统选项 > 公共设置 中，可设置停止自动监控。 监视2.png 停止监控后，“监视”界面的 停止监控 按钮会自动转变为 开始监控 按钮，可点击该按钮重新开始监控内置数据库相关配置信息
SmartbiMpp的端口 8123 SmartbiMpp的默认数据库 default SmartbiMpp的默认帐号 default SmartbiMpp的默认密码 默认密码为空 数据库内存信息 如下图所示： 在SmartbiDemo_V8/smartbi/smartbiMPP/config/users.xml文件里，配置SmartbiMPP的默认最大内存值，这里默认是10G，可以根据需要修改配置。 worddav1e4072ea76539323e01ada49e5b140df.png Presto配置信息 内置的presto的参数如下： 连接参数系统监控-监视
监视页面以图形方式列出Smartbi服务JVM的CPU、内存以及会话数，该页面每2秒更新一次数据。 监视.png 操作说明 在监视页面上，可以进行“停止监控”、“清空”、“导出”、“导入”、“执行垃圾回收”等操作，细节说明在下方。 监视1.png 停止监控 系统默认启动后自动进行监控，可点击该按钮停止监控。 不建议停止监控，否则出现性能问题时无法得知服务器CPU与内存最近一段时间的使用信息从而难以定位问题。 系统自动监控的设置位于 系统运维 > 系统选项 > 公共设置 中，可设置停止自动监控。 监视2.png 停止监控后，“监视”界面的 停止监控 按钮会自动转变为 开始监控 按钮，可点击该按钮重新开始监控
