部署数据挖掘-集群

数据挖掘组件介绍

部署Smartbi 数据挖掘引擎集群需要部署以下组件：

服务名称	简介	备注
数据挖掘-实验引擎	负责接收smartbi 发送实验执行请求。通过解析实验定义，生成spark 计算任务或python计算任务，分别发送给spark集群或python集群。本身并不承担计算任务，只负责计算任务的调度跟分发。
数据挖掘-服务引擎	提供模型预测服务给第三放系统调用
Spark	分布式计算平台，主要承担实验引擎发送过来的计算任务，其中Worker实例可以横向扩展	可选
Zookeeper	用于实现数据挖掘实验引擎和数据挖掘服务引擎的高可用。
Hadoop	分布式系统基础平台，主要存储计算任务的中间结果数据。	可选，组合查询，ETL设置缓存，挖掘任务从不同节点执行等场景需要使用Hadoop
Python执行节点	python 执行环境，主要承担实验引擎发送过来的python计算任务。可以横向扩张，实验引擎会根据负责均衡策略把python计算任务分发到不同节点。	可选
Smartbi Proxy	负载均衡服务器，用于数据挖掘服务引擎代理。

提示

所有组件均可单机部署或集群部署

Linux操作系统平台	系统版本
Red Hat Enterprise Linux	推荐7.4 及以上
CentOS	推荐7.4 及以上

组件	CPU	内存	硬盘	网络	备注
数据挖掘实验引擎	8核+	8G+	安装目录300G+	万兆网卡	如果资源紧张，可以跟服务引擎在同台机器
数据挖掘服务引擎	8核+	8G+	安装目录300G+	万兆网卡	如果资源紧张，可以跟实验引擎在同台机器
Zookeeper	2核+	2G+	300G+	万兆网卡	主要用于实现实验引擎的高可用
Spark master	8核+	8G+	安装目录300G+	万兆网卡	如果资源紧张，可以跟其中一台Spark worker同一台机器
Spark worker	16核+	32G+	1T+	万兆网卡	承担计算任务
Hadoop namenode	2核+	2G+	安装目录300G+	万兆网卡	如果资源紧张，CPU不做特别要求，可以部署在spark集群机器中
Hadoop datanode	2核+	2G+	1T+	万兆网卡	主要承担中间数据存储，如果资源紧张，CPU不做特别要求，可以部署在spark集群机器中
Python执行节点	16核+	32G+	1T+	万兆网卡	主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展如果没有用到这两个功能模块，可以不用部署python节点强烈建议最好独立机器，避免资源争抢

名称	软件包文件	说明
数据挖掘引擎	Smartbi-mining-engine-bin.tar.gz	数据挖掘引擎主程序
	spark-3.1.2-bin-hadoop3.2.tgz	Spark，用于数据挖掘计算
	hadoop-3.2.2.tar.gz	Hadoop，部署数据挖掘集群时需要安装
	zookeeper-3.4.13.tar.gz	Zookeeper，部署数据挖掘集群时需要安装
	bzip2-1.0.6-13.el7.x86_64.rpm Anaconda3-2019.10-Linux-x86_64.sh 离线插件包：plugin.zip	Python，用于数据挖掘执行python计算任务如不需要执行Pyhon计算任务，可不安装
JDK	jdk-8u181-linux-x64.tar.gz	JAVA运行环境

提示

安装介质可能会版本更新，请以实际为准

关于主机名和IP地址映射：

注意事项

部署数据挖掘时，需要将Smartbi和数据挖掘组件中的服务器主机名映射到每台服务器的/etc/hosts文件中，

数据挖掘组件之间的通信会使用到主机名，如果未配置主机名和地址映射，数据挖掘在运行过程中会报错，

Smartbi配置数据挖掘连接地址后，需重启Smartbi，数据挖掘地址会自动转换为数据挖掘服务器的主机名。

关注我们

服务支持