Smartbi Insight V11帮助中心
页面树结构
转至元数据结尾
转至元数据起始


Python节点主要用于机器学习的DBSACN算法和自定义模块的Python脚本扩展。如果没有用到这两个功能模块，可以不用部署python节点。

文档环境

需要使用Smartbi提供的Python版本安装包，不同CPU架构对应的安装包不同

本文档仅针对x86 redhat、arm(飞腾2000)版本预编译Python安装包，其他操作系统参考文档末尾说明

文档为单节点服务器演示Python部署过程

1. 系统环境准备

温馨提示

配置防火墙，selinux相关操作，需要管理员权限。

1.1. 防火墙配置

为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。

1.1.1. 关闭防火墙

临时关闭防火墙（立即生效）

systemctl stop firewalld

永久关闭防火墙（重启后生效）

systemctl disable firewalld

查看防火墙状态

systemctl status firewalld

1.1.2. 开启防火墙

相关服务及端口对照表：

服务名需要开放端口
Python

8980

如果确实需要打开防火墙安装，需要给防火墙放开以下需要使用到的端口
开启端口：8980

firewall-cmd --zone=public --add-port=8980/tcp --permanent

配置完以后重新加载firewalld，使配置生效

firewall-cmd --reload

查看防火墙的配置信息

firewall-cmd --list-all

1.1.3. 关闭selinux

临时关闭selinux，立即生效，不需要重启服务器。

setenforce 0

永久关闭selinux，修改完配置后需要重启服务器才能生效

sed -i 's/=enforcing/=disabled/g'  /etc/selinux/config

2. 安装前配置

1、配置主机名映射

将数据挖掘组件中的服务器主机名映射到hosts文件中

vi /etc/hosts

文件末尾添(根据实际环境信息设置)：

10.10.35.133 10-10-35-133

2、安装java环境

温馨提示

如果服务器已配置有JAVA环境信息，则无需重复配置

解压jdk到指定目录

tar -zxvf jdk-8u181-linux-x64.tar.gz -C /data

添加环境变量

vi ~/.bash_profile

在文件末尾添加下面内容：

export JAVA_HOME=/data/jdk1.8.0_181
export JAVA_BIN=$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_BIN

让配置生效

source~/.bash_profile

验证安装

java -version


3. 安装Python主程序

温馨提示

Python安装包为预编译安装包，安装目录固定为/usr/local/ 


3.1. 安装Python

1、上传安装包到服务器

2、解压安装包至指定目录

tar -zxvf python-3.9.13.tar.gz -C  /usr/local/


3、 配置环境变量

vi /etc/profile

在末尾添加以下内容：

export PATH=/usr/local/python-3.9.13/bin:$PATH

使配置生效，查看python版本

source /etc/profile

3.2. 验证Python程序

1、查看python版本更新数据挖掘

python --version

2、查看pip版本验证

pip -V

3、pip查看安装插件列表

pip list



3.3. 部署数据挖掘引擎包

上传安装包到服务器，并解压到指定目录

tar -zxvf SmartbiMiningEngine-V11.0.tar.gz -C /data

注意事项

Python计算节点依赖数据挖掘引擎包启动，如果python和数据挖掘部署在相同服务器，则无需重复部署数据挖掘

3.4. 创建Python执行用户

温馨提示

1、创建用户需要使用管理员权限，如果已经是普通用户执行部署操作，可以不用再创建用户。

创建用户组、用户并设置密码

groupadd mining                   #创建mining组
useradd -g mining mining-ag       #创建启动用户(mining-ag)并指定用户组为mining
passwd mining-ag                  #设置mining-ag用户密

给引擎安装目录附权限(为了使用mining-ag用户启动执行代理程序时候，有权限创建agent-data跟agent-logs目录)

chgrp mining -R  /data/smartbi-mining-engine-bin
chmod 775 -R /data/smartbi-mining-engine-bin

3.5. 启动Python执行代理

① 浏览器访问Smartbi，打开系统运维–数据挖掘配置–引擎设置，复制Python代理器启动命令

注意事项

复制Python代理器启动命令前，请确认数据挖掘引擎能正常测试连接成功

② 登录到部署Python节点机器，并切换到mining-ag用户

注意事项

为了避免出现安全问题，一定要切换到mining-ag用户去启动执行代理服务，不要使用root用户安装或带有sudo权限的用户来启动执行代理服务，因为执行代理服务是会去执行在界面上定义的python脚本，如果执行用户权限过大，会存在安全问题。


su - mining-ag

进入引擎启动目录

cd /data/smartbi-mining-engine-bin/engine/sbin

把拷贝命令粘贴，并执行，例如：

./agent-daemon.sh start --master http://10.10.35.133:8899 --env python

若有换包更新数据挖掘版本，需要重启python代理

④停止python节点

登录到部署Python节点机器，并切换到mining-ag用户

注意事项

为了避免出现安全问题，一定要切换到mining-ag用户去启动执行代理服务，不要使用root用户安装或带有sudo权限的用户来启动执行代理服务，因为执行代理服务是会去执行在界面上定义的python脚本，如果执行用户权限过大，会存在安全问题。


su - mining-ag

进入引擎启动目录

cd /data/smartbi-mining-engine-bin/engine/sbin

把拷贝命令粘贴，并执行，例如：

./agent-daemon.sh stop

3.6. 运维操作

① 更新Python数据挖掘引擎包

Smartbi更新war包版本时，Python执行节点需要同步更新对应版本的数据挖掘引擎。

②查看日志

python计算节点日志保存在：<smartbi-mining-engine-bin>/agent-logs/目录

安装部署或者使用中有问题，可能需要根据日志来分析解决

4. 其他Linux操作系统

提供指定版本Python源码包(Python-3.9.13.tgz)，需自行编译并安装python。

提供依赖包列表文件(requirements.txt)，需联网自行下载安装。如：使用pip安装。

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

  • 无标签