部署spark计算节点
| 注意 | ||
|---|---|---|
| ||
1、数据挖掘数据量2000万、15个并发任务时以下时，只需要提升数据挖掘服务器配置即可。 2、数据量和并发数超出时，可部署多个计算节点，执行引擎会将计算任务调度到部署的计算节点。 3、计算节点和执行引擎是主从架构，执行引擎是主节点，计算节点是从节点。 |
1、基础环境准备
参考0、系统环境配置 文档，完成操作系统的基础配置
1.2 启动挖掘计算节点
1、解压Smartbi-engine安装包到指定的安装目录
...
| 代码块 | ||||
|---|---|---|---|---|
| ||||
cd /data/smartbi-mining-engine-bin/engine/sbin/ ./agent-daemon.sh start --master http://10.10.35.133:8899 --env spark #注意替换成实际复制的启动命令 |
等待启动完成即可。
1.3 更新计算节点
| 注意 | ||
|---|---|---|
| ||
数据挖掘计算节点需要和数据挖掘版本一致 |
...
