页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

注意
title文档环境

单机部署数据挖掘组件环境如下:

服务器IP主机名组件实例部署目录
10.10.204.24810-10-204-248数据挖掘/data
10.10.204.24910-10-204-249Spark/data
10.10.204.25010-10-204-250Hadoop,Python/data


1、系统环境准备

1.1防火墙配置

为了便于安装,建议在安装前关闭防火墙。使用过程中,为了系统安全可以选择启用防火墙,但必须启用服务相关端口。

...

代码块
linenumberstrue
systemctl status firewalld

2.开启防火墙

相关服务及端口对照表:

服务名需要开放端口
Python

8980

如果确实需要打开防火墙安装,需要给防火墙放开以下需要使用到的端口
开启端口:8980

...

代码块
linenumberstrue
sed -i 's/=enforcing/=disabled/g'  /etc/selinux/config

2、Python计算机点单机部署

1.安装前配置

①配置本地yum源,参考文档:https://www.jellythink.com/archives/548

...

代码块
languagebash
java -version

2.安装Python主程序

上传安装包到服务器的/data目录

①安装依赖包

代码块
languagebash
linenumberstrue
rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm
yum install gcc

...

代码块
languagebash
linenumberstrue
source /etc/profile
python --version

显示Python 3.7.4 表示安装成功。

3.离线安装Python插件包

①上传离线压缩包到服务器/data目录,并解压

代码块
linenumberstrue
cd /data
unzip plugin.zip

...

代码块
linenumberstrue
cd /data
pip install --no-index --find-links=./plugin/ -r requirements.txt

4.部署数据挖掘引擎包

上传安装包到服务器,并解压到指定目录

代码块
linenumberstrue
tar -zxvf SmartbiMiningEngine-V9.5.57319.20294.tar.gz /opt

...

注意
title注意事项

数据挖掘引擎包版本需要与Smartbi版本一致。

5.创建Python执行用户

创建用户并设置密码

代码块
linenumberstrue
useradd mining-py
passwd mining-py

...

代码块
linenumberstrue
chmod -R 777 /opt/smartbi-mining-engine-bin

6.启动Python执行代理

通过系统管理员登录smartbi

系统选项---引擎设置--Python代理器启动命令--复制

...

代码块
linenumberstrue
./agent-daemon.sh start --master http://smartbi-engine:8899 --env python

7.运维操作

1、更新Python数据挖掘引擎包

Smartbi更新war包版本时,Python执行节点需要同步更新对应版本的数据挖掘引擎。

...