页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。


目录

单节点部署smartbi各个组件,在使用过程中可能会出现zpu资源抢占的情况。比如MPP高并发,大数据量查询操作、多并发执行导出的场景,数据挖掘大数据量计算场景等,都可能导致服务器资源不足,从而出现访问smartbi慢,卡顿甚至报错等情况。

当前针对各个组件占用服务器CPU资源,没有好的限制方法,因此,我们建议可以根据实际使用场景,将占用CPU资源比较大的组件部署在不同的服务器中,通过服务器的隔离,实现cpu资源的隔离,达到避免出现cpu资源抢占,导致smartbi服务访问受影响的情况。


服务器CPU资源消耗较大的组件有以下:

高速缓存库、跨库联合查询、导出引擎、Spark、Python计算节点

可以根据不同的场景使用,将资源消耗较大的服务单独部署在一个服务器中。

多台服务器部署方案参考:

两台服务器部署:

场景1、普通部署场景

服务器部署组件服务器一smartbi、知识库、导出引擎、跨库联合查询服务器二数据挖掘、高速缓存库、Spark、Python

场景2、侧重MPP数据抽取,以及跨库查询

服务器部署组件服务器一smartbi、知识库、数据挖掘引擎、导出引擎服务器二高速缓存库、跨库联合查询

场景3、侧重数据挖掘计算

服务器部署组件服务器一smartbi、知识库、导出引擎、高速缓存库、跨库联合查询服务器二数据挖掘引擎、Spark、Python

三台服务器部署:

场景1、普通部署场景

服务器部署组件服务器一smartbi、知识库、导出引擎服务器二跨库联合查询、高速缓存库服务器三数据挖掘、spark、python

场景2、侧重MPP数据抽取,以及跨库查询

服务器部署组件服务器一smartbi、知识库、数据挖掘引擎服务器二高速缓存库服务器三跨库联合查询、导出引擎

场景3、侧重数据挖掘计算

服务器部署组件服务器一smartbi、知识库、导出引擎、高速缓存库、跨库联合查询服务器二数据挖掘引擎、Spark-master节点、Python服务器三Spark-work节点

以上方案提供参考,可根据服务器数量以及注重某个组件功能,将消耗CPU服务器资源的组件,部署在非smartbi和知识库节点。

1、服务器最低配置

服务器最低配置


CPU内存硬盘网络
8核32G部署目录200G千兆网卡


组件名称内存备注
Smartbi4GTomcat的JVM内存最大值,4G内存主要适用于单用户demo功能演示,建议配置8G以上内存。
知识库4GMysql可能会使用的内存
MPP10GMPP的默认内存配置,可调整
UnionServer8G跨库的默认内存配置,可调整
导出引擎4G导出引擎可能会使用的内存
数据挖掘-实验引擎5G默认的JVM内存最大值,可调整
数据挖掘-服务引擎3G默认的JVM内存最大值,可调整
Python执行节点2G默认的JVM内存最大值,可调整

服务器推荐推荐配置:

CPU内存硬盘网络备注
16核+64G+500G+千兆网络+推荐单盘符部署smartbi组件


组件名称内存备注
Smartbi16GTomcat的JVM内存最大值,可根据并发量调整此参数
知识库4GMysql可能会使用的内存
MPP10GMPP的默认内存配置,可调整
UnionServer8G跨库的默认内存配置,可调整
导出引擎4G导出引擎可能会使用的内存
数据挖掘-实验引擎5G默认的JVM内存最大值,可调整
数据挖掘-服务引擎3G默认的JVM内存最大值,可调整
Python执行节点2G默认的JVM内存最大值,可调整
Spark8GSpark使用内存,可调整


多台服务器部署方案参考:

两台服务器部署:

场景1、普通部署场景

服务器部署组件
服务器一smartbi、知识库、导出引擎、跨库联合查询
服务器二数据挖掘、高速缓存库、Spark、Python


场景2、侧重MPP数据抽取,以及跨库查询

服务器部署组件
服务器一smartbi、知识库、数据挖掘引擎、导出引擎
服务器二高速缓存库、跨库联合查询


场景3、侧重数据挖掘计算

服务器部署组件
服务器一smartbi、知识库、导出引擎、高速缓存库、跨库联合查询
服务器二数据挖掘引擎、Spark、Python


三台服务器部署:

场景1、普通部署场景

服务器部署组件
服务器一smartbi、知识库、导出引擎
服务器二跨库联合查询、高速缓存库
服务器三数据挖掘、spark、python


场景2、侧重MPP数据抽取,以及跨库查询

服务器部署组件
服务器一smartbi、知识库、数据挖掘引擎
服务器二高速缓存库
服务器三跨库联合查询、导出引擎


场景3、侧重数据挖掘计算

服务器部署组件
服务器一smartbi、知识库、导出引擎、高速缓存库、跨库联合查询
服务器二数据挖掘引擎、Spark-master节点、Python
服务器三Spark-work节点


以上方案提供参考,可根据服务器数量以及注重某个组件功能,将消耗CPU服务器资源的组件,部署在非smartbi和知识库节点。

2、部署方案参考

Smartbi及其组件可分为两大部分:

  • 第一部分:Smartbi,知识库,高速缓存库,跨库联合查询,导出引擎,Redis

           其中可以根据服务器资源消耗再细分成两部分:

           ①Smartbi、知识库、导出引擎、Redis

           ②高速缓存库、跨库联合查询

  • 第二部分:数据挖掘模块(包含数据挖掘实验引擎、服务引擎、Spark、Hadoop、Python计算节点)

           数据挖掘引擎可根据服务器资源消耗细分为两部分:

           ①实验引擎、服务引擎、Hadoop

           ②Spark、Python计算节点

部署方案并非一成不变,可以根据服务器数量和产品功能使用的侧重点来灵活的分配服务器资源。

以下几个部署方案可提供参考: