...
代码块 | ||||
---|---|---|---|---|
| ||||
* soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 |
2、部署数据挖掘引擎
2.1.添加主机名映射关系
根据部署实际环境,如需修改主机名,可参考下面的修改方式:
...
注意 | ||
---|---|---|
| ||
部署smartbi服务器的/etc/hosts,需要添加所有数据挖掘组件的主机和IP地址映射 |
2.2.安装数据挖掘-执行引擎
1、解压Smartbi-engine安装包到指定的安装目录
...
代码块 | ||||
---|---|---|---|---|
| ||||
cd /data/smartbi-mining-engine-bin/engine/sbin/ chmod +x *.sh ./experiment-daemon.sh start |
2.3.安装数据挖掘-服务引擎
注意 | ||
---|---|---|
| ||
由于文档中服务引擎与执行引擎部署在同一台服务器,所以无需重复设置系统环境。 如果服务引擎与执行引擎部署在不同服务器时,服务引擎系统环境设置可参考执行引擎的配置。 |
...
代码块 | ||||
---|---|---|---|---|
| ||||
cd /data/smartbi-mining-engine-bin/engine/sbin/ ./service-daemon.sh start |
2.4.测试数据挖掘
注意 |
---|
此处仅测试数据挖掘本地模式,未连接Spark等计算节点 |
...
⑤执行引擎和服务引擎完成设置、保存后,返回 系统运维–数据挖掘配置–引擎设置,重新点击测试,如下提示表示配置成功:
3、运维操作
1、启动/重启/查看执行引擎查看数据挖掘引擎状态
代码块 | ||||
---|---|---|---|---|
| ||||
cd /optdata/smartbi-mining-engine-bin/engine/sbin ./experiment-daemon.sh restart #重启执行引擎 ./experiment-daemon.sh stop #停止执行引擎 ./experiment-daemon.sh status #查看执行引擎运行状态 ./service-daemon.sh restart #重启服务引擎 ./service-daemon.sh stop #停止服务引擎 ./service-daemon.sh status #查看服务引擎运行状态 |
2、测试执行引擎
参考 测试数据挖掘集群及其组件
3、日志查看2、日志查看
数据挖掘的日志路径:/optdata/smartbi-mining-engine-bin/logs
安装部署或者使用中有问题,可能需要根据日志来分析解决。
4、设置数据挖掘开机启动3、设置数据挖掘开机启动
进入/etc/init.d目录,创建数据挖掘-执行引擎启动配置文件
...
代码块 | ||||
---|---|---|---|---|
| ||||
#!/bin/bash # # tomcat startup script for the mining-engine server # chkconfig: 345 80 20 # description: start the mining-engine deamon # # Source function library . /etc/rc.d/init.d/functions prog=mining-engine JAVA_HOME=/home/smartbidata/jdk1.8.0_181/ #注意替换成实际的JAVA部署路径 export JAVA_HOME CATALANA_HOME=/data/smartbi-mining-engine-bin/engine/ #注意替换成实际的数据挖掘部署路径 export CATALINA_HOME case "$1" in start) echo "Starting mining-service..." $CATALANA_HOME/sbin/experiment-daemon.sh start ;; stop) echo "Stopping mining-service..." $CATALANA_HOME/sbin/experiment-daemon.sh stop ;; restart) echo "Stopping mining-service..." $CATALANA_HOME/sbin/experiment-daemon.sh stop sleep 2 echo echo "Starting mining-service..." $CATALANA_HOME/sbin/experiment-daemon.sh start ;; *) echo "Usage: $prog {start|stop|restart}" ;; esac exit 0 |
...
代码块 | ||||
---|---|---|---|---|
| ||||
#!/bin/bash # # tomcat startup script for the mining-service server # chkconfig: 345 80 20 # description: start the mining-service deamon # # Source function library . /etc/rc.d/init.d/functions prog=mining-service JAVA_HOME=/home/smartbidata/jdk1.8.0_181/ #注意替换成实际的JAVA部署路径 export JAVA_HOME CATALANA_HOME=/data/smartbi-mining-engine-bin/engine/ #注意替换成实际的数据挖掘部署路径 export CATALINA_HOME case "$1" in start) echo "Starting mining-service..." $CATALANA_HOME/sbin/service-daemon.sh start ;; stop) echo "Stopping mining-service..." $CATALANA_HOME/sbin/service-daemon.sh stop ;; restart) echo "Stopping mining-service..." $CATALANA_HOME/sbin/service-daemon.sh stop sleep 2 echo echo "Starting mining-service..." $CATALANA_HOME/sbin/service-daemon.sh start ;; *) echo "Usage: $prog {start|stop|restart}" ;; esac exit 0 |
...