第3.6页，共30页。 显示 292 条结果 (0.025 秒)
透视分析（旧）数据抽取时每次读取数据条数（JDBC Fetchsize）
14:50:35.png 解决方案 此设置项的作用是当透视分析报表设置了【抽取数据】，可以防止一些数据库jdbc驱动一次性将所有的数据都加载到内存中，导致服务器内存被撑爆。因为设置数据抽取每次读取数据条数后，可以通过数据库游标方式每次只取1000条返回到内存上，这样可以避免服务器内存被大量占用的情况，但实际执行SQL还是10000条记录，只是通过游标取固定的条数返回到内存上。 image2019-9-4 14:49:12.png 数据抽取时每次读取数据条数大数据量抽取性能优化
1. 应用场景 超大数据量抽取性能无法满足需求，需要优化。 2. 实施步骤 2.1 ETL部署服务器配置 数据抽取性能优化的关键是尽可能多线程并行抽取，多线程就要求有多核cpu，每个线程执行的时候，也需要消耗内存，数据抽取的时候，会有数据落盘，对磁盘容量跟IO性能也有一定要求。总体而言，越高的服务器配置越能优化出更好的性能，如果服务器配置过低，通过调整其它配置，性能优化空间有限。为了保证有一定优化效果，配置要求： CPU 内存 硬盘 8核+ 32G+ 300G+ 2.2 ETL引擎配置 为了最大利用服务器硬件资源，ETL执行引擎需要做下面几个配置： 2.2.1 分配内存 如果不设置，默认宕机/慢问题跟踪以及信息采集
（本文档仅供参考） 一般出现类似于服务器CPU 和内存一直在98%-100%，后台报锁死错误，一直卡住，无法开发报表的情况 一、可能性分析 系统选项.jpg 【系统选项】--》【查询设置】–》【内存数据库最大返回行数】及【内存数据库最大返回单元格数】也不能设置过大，如果设置很大，往内存数据库加载的数据量就很大，会占用服务器的内存，造成内存溢出问题。 其中【内存数据库最大返回单元格数】=内存数据库最大返回行数*列字段 image2019-8-6 11:8:26.png image2019-8-6 11:12:6.png 1.3 原因3 灵活分析引用的数据集设置了Excel模板，然后场景一：单台服务器部署
基于单台服务器部署Smartbi及所有其组件，参考部署方案如下： 1、服务器最低配置 单台服务器部署smartbi所有组件时，最低配置要求如下： CPU 内存 硬盘 网络 8核 32G 部署目录200G 千兆网络 具体说明： 组件名称 内存 备注 Smartbi 3G Tomcat的JVM内存最大值，可根据并发量调整此参数 知识库 2G Mysql可能会使用的内存 MPP 8G MPP的最大内存配置，可调整 SmartbiOLAP 4G 建议提高内存配置 UnionServer 4G 跨库的内存配置安装SmartbiMPP 单节点（rpm/deb包）
建议8核或以上 内存 建议32G以上 硬盘 建议固态硬盘或高速硬盘 空间大小2048G 官方预构建的二进制文件通常针对x86_64进行编译，并利用SSE 4.2指令集，部署前需要检查环境是否支持SSE4.2指令（arm架构平台，不需要检测SSE4.2指令） grep … 加载firewalld，使配置生效 ufw reload 查看防火墙的配置信息 ufw status numbered 建议关闭服务器虚拟内存，避免查询期间使用虚拟内存导致查询变慢和查询异常。 swapoff -a #临时关闭 4、安装SmartbiMPP 4.1 安装SmartbiMPP RPM包Windows EXE安装包部署Smartbi
新检测。 后续其它程序请勿使用与知识库相同的端口，避免端口冲突。 9）单击 下一步 按钮，进入“应用服务器设置”窗口。 内存配置.png 如需将 Smartbi 在Windows后台服务中注册为 Smartbi_Server服务，则可勾选“注册为Windows服务”。 注意： 1、部署smartbi服务器的最小内存必须大于4000M，否则不能进行安装部署。 2、应用服务器最大内存默认是服务器内存的四分之一，最低不能小于1000M。 3、数据模型最大内存默认是服务器内存的十六分之一，最低不能小于1000M。 4、自助ETL最大内存默认是服务器内存的八分分之一，最低不能小于500M。 5、默认内存可根据数据 - web电子表格数据只显示1w条
（该文档仅供参考） 问题描述： web电子表格看查询最大只能查前1w条数据，但如果有超过1w条的数据都想显示出来，这个可以从哪里调整？ 解决方案 系统默认设置显示查询数据默认只查1w条，这个是为了防止一次性加载较多的数据到内存中，导致内存溢出。 若当前数据量不满足项目业务场景，可以在高级设置中增加OLAP_QUERY_MAX_ROW_LIMIT = 10000该配置项，但是不建议设置的过大。另在报表设置中，也建议都给参数设置一个默认值，避免没有默认值查询全部数据，导致内存压力过大，引发系统异常等问题。 数据只显示1万行系统运维-导出系统日志-系统进程自动宕机重启
（本文档仅供参考） 场景描述： was中间件，每次从系统运维-导出系统日志时，系统的进程自动宕机，重启新的进程； image2023-12-27_11-19-45.png 解决方案： 系统宕机一般都会和内存溢出或过高等引起，所以先通过引为切入点进行排查； 1、先关闭was的自动重启的机制；https://blog.csdn.net/qq_42006868/article/details/126012995 https://blog.csdn.net/qq_42006868/article/details/126012995 2、通过系统监控的监控，导出当前时间段的内存，然后在导入进去，观察内存的变化情况来判断原因GC策略测试
（本文档仅供参考） 场景 本次共测试了2个Excel分析资源在64g, 128g, 200g三种内存规格下。对应4种GC策略，进行10 并发，5分钟的压测。4种GC策略及其JVM参数设置如下 GC_1 : Serial -XX:+UseSerialGC GC_2: Parallel Old/Serial -XX:+UseParallelGC -XX:+UseParallelOldGC GC_3: CMS -XX:+UseParNewGC -XX:+UseConcMarkSweepGC GC_4: G1 -XX:+UseG1GC 业务库：MYSQL 内存使用情况 以资源1为例： GC_1 : Serial 三个内存系统环境要求
推荐配置 Smartbi及其组件部署的硬件推荐配置如下： 服务 CPU推荐 内存推荐 硬盘推荐 备注 Smartbi 8核+ 2.0 GHZ 以上 32G+ 200GB+ JVM内存16G以上 知识库 8核+ 2.0 GHZ 以上 16G+ 200GB+ … 服务器数量推荐 Smartbi数据挖掘/SmartbiETL 500MB~5GB 10~30 16核，64G内存，1TB硬盘 1~3台 5GB~10GB 10~30 16核，64G内存，1TB硬盘 3~5台 10GB~50GB 10~30 16核，64G内存
