页面历史

...

注意

title	文档环境

集群部署数据挖掘组件环境如下：

服务器IP	主机名	组件实例	部署目录
10.10.35.64	10-10-35-64	数据挖掘-1，Zookeeper-1，Python1，Zookeeper-1，Python-1	/data
10.10.35.65	10-10-35-65	数据挖掘-2，2，Spark-1，Hadoop-1	/data
10.10.35.66	10-10-35-66	Spark-2，Zookeeper，Zookeeper-2，2，Hadoop-2	/data
10.10.35.67	10-10-35-67	Spark-3，Zookeeper，Zookeeper-3，Hadoop-3，Python-2	/data

1、系统环境准备

...

2.开启防火墙

相关服务及端口对照表：

服务名	需要开放端口
执行引擎	8899,4040,7777, 8899，4040，7777,，[30000-65535]
服务引擎	8900
Zookeeper	2181，2888，3888

如果确实需要打开防火墙安装，需要给防火墙放开以下需要使用到的端口
开启端口：8900，8899，4040，7777， [30000-65535]

代码块

language	bash
linenumbers	true

firewall-cmd --zone=public --add-port=8899/tcp --permanent
firewall-cmd --zone=public --add-port=8900/tcp --permanent
firewall-cmd --zone=public --add-port=4040/tcp --permanent
firewall-cmd --zone=public --add-port=7777/tcp --permanent
firewall-cmd --zone=public --add-port=30000-65535/tcp --permanent
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=2888/tcp --permanent
firewall-cmd --zone=public --add-port=3888/tcp --permanent

配置完以后重新加载firewalld，使配置生效

代码块

language	bash
linenumbers	true

firewall-cmd --reload

...

代码块

language	bash

10.10.35.64 10-10-35-64
10.10.35.65 10-10-35-65
10.10.35.66 10-10-35-66
10.10.35.67 10-10-35-67

...

2、部署数据挖掘-执行引擎(高可用)

注意

title	数据挖掘执行引擎-高可用节点说明

数据挖掘执行引擎需要依赖zookeeper，故而文档环境部署zookeeper集群。

主机名	角色
10-10-35-64	执行引擎(主)，Zookeeper-1
10-10-35-65	执行引擎(备)
10-10-35-66	Zookeeper-2
10-10-35-67	Zookeeper-3

2.1 部署Zookeeper集群

1、登陆zookeeper-1节点执行操作。

①上传zookeeper安装包到服务器，并解压到指定目录：

代码块

language	bash

tar -zxvf zookeeper-3.4.13.tar.gz -C /data/

②创建zookeeper数据目录、日志目录

代码块

language	bash

cd /data/zookeeper-3.4.13
mkdir {data,log}

③修改zookeeper配置文件

代码块

language	bash

cd /data/zookeeper-3.4.13/conf
mv zoo_sample.cfg zoo.cfg       #重命名配置文件
vi zoo.cfg                      #编辑配置文件

zookeeper配置文件参考：

代码块

language	bash

tickTime=2000
initLimit=10
syncLimit=5
#修改数据目录和日志目录
dataDir=/data/zookeeper-3.4.13/data
dataLogDir=/data/zookeeper-3.4.13/log
clientPort=2181
#保留20个文件
autopurge.snapRetainCount=20
#保留48小时
autopurge.purgeInterval=48  
#zookeeper集群信息
server.1=10-10-35-64:2888:3888    
server.2=10-10-35-66:2888:3888   
server.3=10-10-35-67:2888:3888

④将Zookeeper安装包分发到其他节点

假设当前的系统用户为root命令如下：

代码块

language	bash

scp -r /data/zookeeper-3.4.13  root@10-10-35-66:/data/
scp -r /data/zookeeper-3.4.13  root@10-10-35-67:/data/

2、创建myid文件，并写入ID，集群中每个节点mysqid不能相同

代码块

language	bash

echo 1 > /data/zookeeper-3.4.13/data/myid        #zookeeper-1节点执行
echo 2 > /data/zookeeper-3.4.13/data/myid        #zookeeper-2节点执行
echo 3 > /data/zookeeper-3.4.13/data/myid        #zookeeper-3节点执行

3、启动Zookeeper集群

所有节点启动Zookeeper服务

代码块

language	bash

cd /data/zookeeper-3.4.13/bin
./zkServer.sh start

4、查看每个节点Zookeeper状态

代码块

language	bash

cd /data/zookeeper-3.4.13/bin
./zkServer.sh status

其中有一个leader节点，两个follower节点

zookeeper集群部署完成。

2.2 部署执行引擎(主节点)

1、解压Smartbi-engine安装包到指定的目录

代码块

language	bash
linenumbers	true

tar -zxvf SmartbiMiningEngine-V10.0.64186.21183.tar.gz -C /data

2、启动数据挖掘执行引擎

代码块

language	bash
linenumbers	true

cd /data/smartbi-mining-engine-bin/engine/sbin/
chmod +x *.sh
./experiment-daemon.sh start

注意

title	注意事项

首次启动执行引擎只是为了生成相关配置文件

3、修改执行引擎配置文件

进入配置文件目录，注意：下面的配置文件是执行引擎首次启动时生成的。

代码块

language	bash
linenumbers	true

cd /data/smartbi-mining-engine-bin/conf
vi experiment-application.properties

experiment-application.properties配置文件具体修改如下图：

Image Added

页面树结构

版本比较

旧版本 8

新版本 9

标识

1、系统环境准备

2、部署数据挖掘-执行引擎(高可用)

2.1 部署Zookeeper集群

2.2 部署执行引擎(主节点)

3、部署数据挖掘服务引擎(负载均衡)