页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。


目录

多台服务器部署Smartbi及其组件,参考部署方案如下:

1、服务器推荐配置

IP地址主机名CPU内存硬盘网络备注x.x.x.xxx-116核+32G+部署目录500G+千兆网络+

主机名可自定义,建议服务器主机名不要相同;

推荐服务器单独一个盘符用于部署smartbi及其组件。

2、部署方案参考

Smartbi及其组件可分为两大部分:

  • 第一部分:Smartbi,知识库,高速缓存库,跨库联合查询,导出引擎,Redis

           其中可以根据服务器资源消耗再细分成两部分:

           ①Smartbi、知识库、导出引擎、Redis

           ②高速缓存库、跨库联合查询

  • 第二部分:数据挖掘模块(包含数据挖掘实验引擎、服务引擎、Spark、Hadoop、Python计算节点)

           数据挖掘引擎可根据服务器资源消耗细分为两部分:

           ①实验引擎、服务引擎、Hadoop

           ②Spark、Python计算节点

部署方案并非一成不变,可以根据服务器数量和产品功能使用的侧重点来灵活的分配服务器资源。

以下几个部署方案可提供参考:

1.部署Smartbi,不部署数据挖掘

背景:两台服务器,部署除数据挖掘引擎外的所有Smartbi组件(不部署集群)。

部署规划:

服务器部署组件服务器一Smartbi,知识库,导出引擎,Redis服务器二高速缓存库,跨库联合查询
注意
title解析

高速缓存库和跨库联合查询部署消耗资源较多,可以将两个服务部署在一台服务器中。

如果需要部署smartbi集群,服务器二再部署一个smartbi节点,并部署一个Proxy代理即可。

2.部署Smartbi和数据挖掘

背景:两台服务器,部署所有的Smartbi组件,并且经常使用数据挖掘模块。

部署规划:

服务器部署组件服务器一Smartbi,知识库,高速缓存库,跨库联合查询,导出引擎,Redis服务器二数据挖掘模块
注意
title解析

数据挖掘引擎在使用过程消耗资源较多,单独部署在一个服务器中。

如果需要部署smartbi集群,服务器二再部署一个smartbi节点,并部署一个Proxy代理即可。

3.部署Smartbi和数据挖掘

背景:三台服务器,部署所有的Smartbi组件,并且客户习惯使用Python脚本执行数据挖掘任务。

部署规划:

服务器部署组件服务器一Smartbi,知识库,高速缓存库,跨库联合查询,导出引擎,Redis服务器二数据挖掘实验引擎,服务引擎,Hadoop,Spark服务器三Python计算节点
注意
title解析

客户习惯使用Python脚本执行数据挖掘任务,则可以将Python计算节点单独部署在一台服务器中。

如果客户更习惯使用数据挖掘中自带的模块执行数据挖掘任务,则可以将Spark单独部署在一台服务器中。

如果需要部署smartbi集群,在其他服务器部署smartbi节点,并部署一个Proxy代理即可。

参考以上三个部署方案,再根据不同的需求和不同的服务器资源灵活的进行服务器的部署规划。

单节点部署Smartbi各个组件,在使用过程中可能会出现cpu资源抢占的情况。比如MPP高并发,大数据量查询操作、多并发执行导出的场景,数据挖掘大数据量计算场景等,都可能导致服务器资源不足,从而出现访问Smartbi慢,卡顿甚至报错等情况。

当前针对各个组件占用服务器CPU资源,没有好的限制方法,因此,我们建议可以根据实际使用场景,将占用CPU资源比较大的组件部署在不同的服务器中,通过服务器的隔离,实现cpu资源的隔离,达到避免出现cpu资源抢占,导致Smartbi服务访问受影响的情况。


服务器CPU资源消耗较大的组件有以下:

高速缓存库、跨库联合查询、导出引擎、Spark、Python计算节点

可以根据不同的场景使用,将资源消耗较大的服务单独部署在一个服务器中。

注意
title关于配置

文档后续是基于全组件部署方案推荐,服务器配置可以根据安装组件来申请对应的配置,并非一成不变的。

如果可以,尽可能提高服务器配置。

多台服务器部署方案参考:

两台服务器部署

场景1、普通使用场景

服务器部署组件最低配置推荐配置备注
服务器一Smartbi、知识库、导出引擎、跨库联合查询4核、8G8核+、16G+可根据实际部署组件以及使用场景申请服务器资源
服务器二数据挖掘、高速缓存库、Spark、Python、OLAP4核、8G8核+、32G+可根据实际部署组件以及使用场景申请服务器资源


场景2、MPP数据抽取,高并发查询以及跨库查询场景多

服务器部署组件最低配置推荐配置备注
服务器一Smartbi、知识库、数据挖掘引擎、导出引擎4核、8G8核+、16G+可根据实际部署组件以及使用场景申请服务器资源
服务器二高速缓存库、跨库联合查询、OLAP4核、8G8核+、32G+可根据实际部署组件以及使用场景申请服务器资源


场景3、数据挖掘计算场景多

服务器部署组件最低配置推荐配置备注
服务器一Smartbi、知识库、导出引擎、高速缓存库、跨库联合查询4核、8G8核+、16G+可根据实际部署组件以及使用场景申请服务器资源
服务器二数据挖掘引擎、Spark、Python、OLAP4核、8G8核+、32G+可根据实际部署组件以及使用场景申请服务器资源


三台服务器部署

场景1、普通使用场景

服务器部署组件最低配置推荐配置备注
服务器一Smartbi、知识库、导出引擎4核、8G8核+、16G+可根据实际部署组件以及使用场景申请服务器资源
服务器二跨库联合查询、高速缓存库、OLAP4核、8G8核+、32G+可根据实际部署组件以及使用场景申请服务器资源
服务器三数据挖掘、spark、python4核、8G8核+、16G+可根据实际部署组件以及使用场景申请服务器资源


场景2、MPP数据抽取,高并发查询以及跨库查询场景多

服务器部署组件最低配置推荐配置备注
服务器一Smartbi、知识库、数据挖掘引擎4核、8G8核+、16G+可根据实际部署组件以及使用场景申请服务器资源
服务器二高速缓存库、OLAP4核、8G8核+、32G+可根据实际部署组件以及使用场景申请服务器资源
服务器三跨库联合查询、导出引擎4核、8G8核+、16G+可根据实际部署组件以及使用场景申请服务器资源


场景3、部署Smartbi集群

服务器部署组件最低配置推荐配置备注
服务器一smartbi节点1、知识库、导出引擎4核、8G8核+、16G+可根据实际部署组件以及使用场景申请服务器资源
服务器二smartbi节点2、跨库联合查询、高速缓存库、OLAP4核、8G8核+、32G+可根据实际部署组件以及使用场景申请服务器资源
服务器三smartbi-proxy、数据挖掘、spark、python4核、8G8核+、32G+可根据实际部署组件以及使用场景申请服务器资源


以上方案提供参考,可根据服务器数量以及注重某个组件功能,将消耗CPU服务器资源的组件,部署在非Smartbi和知识库节点。

部署方案并非一成不变,可以根据服务器数量和产品功能使用的侧重点来灵活的分配服务器资源。