部署spark计算节点
前置条件
1、数据挖掘数据量2000万、15个并发任务时以下时，只需要提升数据挖掘服务器配置即可。
2、数据量和并发数超出时，可部署多个计算节点，执行引擎会将计算任务调度到部署的计算节点。
3、计算节点和执行引擎是主从架构，执行引擎是主节点，计算节点是从节点。
1、基础环境准备
参考0、系统环境配置 文档，完成操作系统的基础配置
1.2 启动挖掘计算节点
1、解压Smartbi-engine安装包到指定的安装目录
tar -zxvf SmartbiMiningEngine-V11.0.tar.gz -C /data
2、登陆smartbi服务器，打开运维设置–数据挖掘配置–引擎设置，复制Spark代理器启动命令 ，
注意
复制命令前需要确认挖掘引擎测试连接正常
2、启动数据挖掘计算节点
cd /data/smartbi-mining-engine-bin/engine/sbin/ ./agent-daemon.sh start --master http://10.10.35.133:8899 --env spark #注意替换成实际复制的启动命令
等待启动完成即可。
检查spark计算节点
点击Smartbi 的 【系统监控】–》【实验监控】，可以查看当前的spark计算节点的具体信息。
下图的红色框中，3个节点都是spark的计算节点。
1.3 更新计算节点
注意
数据挖掘计算节点需要和数据挖掘版本一致
1、停止正在运行的数据挖掘计算节点
cd /data/smartbi-mining-engine-bin/engine/sbin ./agent-daemon.sh stop #停止计算节点
2、上传并解压新版本的数据挖掘包
#解压新版本安装包至/tmp目录 tar -zxvf SmartbiMiningEngine-V11.0.tar.gz -C /tmp
3、更新替换数据挖掘版本安装包
cd /data/smartbi-mining-engine-bin #重命名旧版本engine目录，后续版本更新完成后可删除 mv engine engine_bk #新版本挖掘包复制至部署目录 cp -ra /tmp/smartbi-mining-engine-bin/engine /data/smartbi-mining-engine-bin
4、重新启动数据挖掘计算节点
cd /data/smartbi-mining-engine-bin/engine/sbin ./agent-daemon.sh start --master http://10.10.35.133:8899 --env spark
启动完成后，运行挖掘实验检查是否升级成功即可。
