第24.6页,共30页。 显示 294 条结果 (0.277 秒)
部署数据挖掘-单机
流程图: sp1.png 操作系统推荐: Linux操作系统平台 系统版本 Red Hat Enterprise Linux 推荐7.4 及以上 CentOS 推荐7.4 及以上 服务配置建议: 组件 CPU 内存 硬盘 网络 备注部署数据挖掘-集群
操作系统平台 系统版本 Red Hat Enterprise Linux 推荐7.4 及以上 CentOS 推荐7.4 及以上 服务配置建议: 组件 CPU 内存 硬盘 网络 备注 数据挖掘实验引擎 8核+ 8G+ 安装目录300G+Linux部署Smartbi OLAP Server集群
OLAP Server服务默认端口为18081,如果该端口已被使用,可以通过修改application.properties文件,更换端口,参考下图: olap.png Smartbi OLAP Server服务设置最大JVM内存,可以通过修改startup_olap.sh脚本文件设置,参考下图平板-报表浏览
报表到离线区,数据的存储和读取在移动端内存中进行。详情请参见 平板-离线 章节。 image2018-12-7 11:5:37.png 用于在线获取数据,此时从原库中去取数。 image2018-12-6 14:45:52.png 用于对当前报表的参数进行个人参数设置。详情请参见 53937543。 注Excel融合分析如何处理超大数据量
1. 背景 一线的业务人员获取Excel明细表,原始数据量动辄几十万上百万条;虽然Excel是一款深受青睐、广泛使用的数据处理工具,但是Excel自身在处理大数据量情况下存在性能问题;并且当大数据量的Excel分析报表展现在web上会占用太多缓存,会容易撑爆内存导致宕机。 基于上述背景,本文将介绍在创建大数据量的Excel融合分析报表过程中,应该采取哪些操作方案,能够有效避免大数据量导致卡顿、提升查询性能。 2. 操作步骤 2.1 数据准备方式 在创建Excel融合分析报表前的数据准备阶段,我们可参考如下两个方式操作: 查询情况 操作要点 效果 单表查询 创建透视分析数据集自定义计算成员
1 概述 计算成员是维度成员和度量的结合体,它通过绑定在普通维度上输出自定义成员字段,并且通过多维表达返回数值结果。因此在报表应用时,计算成员必须结合度量字段才有数据意义。 1、新建计算成员时,父成员可不选;如果要选择,只能选择”层次结构“的上级或者父级。 2、计算成员是存储在内存中的,如果底层的数据量过大,在数据模型中自定义"计算成员”可能会导致性能变差。 3、计算成员与分组字段要做的事情有点类似,区别是: 计算成员 不会新增列,而是在选择的字段中增加成员。 分组字段 是新增了新的一列,实现的场景不太一样,详参:自定义分组。 4、自定义成员支持参数,可参考:参数设置 https解决Too many open files异常
" #nproc:用户可用的最大进程数量 #nofile:用户可打开的最大文件总数 #memlock: 用户最大内存锁地址空间 #* soft nproc 16384 #* hard nproc 16384 * soft nofile 65536缓存机制
一、原理 数据缓存是目前行业内提升报表查询性能较好的解决方案,smartbi中会启用对象缓冲池(存储在内存中),用于缓存系统中用到的数据集定义及最近使用的查询结果等。用户打开组合分析、透视分析、电子表格刷新数据时,服务器利用对象缓冲池获取数据的流程如下: 1.jpg 二、优势 启用对象缓冲池可以增强系统在并发时的性能,减少服务器的压力,提高用户报表查询速度。 三、缓存设置界面 1、V95版本设置入口:【系统运维】-【系统选项】-【缓存】 image2023-1-29_11-15-56.png 对于更多缓存关于计划任务执行机制
。 注意: 计划任务设置不合理有可能会互相造成影响,并且如果本身存在频繁大数据量抽取,不建议直接通过计划任务抽取,建议是采用专业的ETL工具执行,因为计划任务频繁的执行是需要消耗服务器内存的,会对用户使用造成一些影响。 另外目前是没有办法查出当前节点此刻有多少任务正在执行SSAS(分析服务)优化手册
、成员数量巨大的维度,不建议查询到最底层的数据(叶级数据)时展开全部。比如到货品。 4、一张报表减少Sheet页的个数,每个Sheet页的数据透视表个数最好不超过2个; 5、分析服务(SSAS)使用64位服务器,充分利用CPU和内存。 优化策略 一般地,按5个方面进行优化。 1. 数据源设计 2.