SmartbiV95到V10版本升级内容如下:
组件 | V95版本 | V10版本 | 更新内容 | 备注 |
---|---|---|---|---|
Smartbi | √ | √ | Smartbi版本升级到V10 | |
Smartbi-OLAP-Server | × | √ | 新增组件Smartbi-OLAP-Server | 详情参考Window部署、linux部署 |
高速缓存库 | √ | √ | 必须部署组件 | V10不支持Infobright,需要升级为SmartbiMPP,详情请参考V10升级注意事项 |
数据挖掘 | √ | √ | 数据挖掘版本升级到V10 | |
Spark | √ | √ | spark-2.4.0升级到spark-3.1.2 | |
Hadoop | × | √ | 新增组件 | |
Python | √ | √ | 更新挖掘引擎包 | 挖掘引擎版本和部署挖掘引擎主机的版本一致 |
升级注意事项
版本升级前,请提前备份好数据,避免因为升级问题导致数据异常
一、Smartbi更新
向smartbi官方获取V10版本的Smartbi安装包。更新的详细方法,请参考:War包更新方法
二、数据挖掘版本更新
若在smartbi中部署了数据挖掘,则数据挖掘引擎安装包版本要和smartbi的war包版本一致,更新时需要同步更新Python节点中的引擎包。
数据挖掘更新方法请参考:数据挖掘版本更新
三、Spark版本升级
注意事项
需要使用Smartbi官方提供的Spark3.1.2安装包部署
1. 停止旧版本Spark
进入spark安装目录,执行命令停止spark2.4服务
cd /data/spark-2.4.0-bin-hadoop2.7/sbin/ #注意进入实际spark部署目录 ./stop-all.sh
注意事项
注意,如果出现无法停止情况,可以通过jps查看Spark服务(Spark的进程名有Master,Worker,CoarseGrainedExecutorBackend)进程id,然后 kill -9 进程id
2.部署新版本Spark
向smartbi官方获取新版本spark安装包,详细操作步骤请参考:部署Spark
四、部署Hadoop
数据挖掘V10版本增加了Hadoop节点中间数据存储,可根据需要部署。
部署操作详细过程可参考:部署Hadoop
五、Python节点更新
4.1停止旧Python服务
进入安装Python计算节点的服务器,进入目录,停止Python服务
cd /opt/smartbi-mining-engine-bin/engine/sbin ./python-daemon.sh stop
注意事项
注意,如果出现无法停止情况,可以通过jps查看python服务进程id,然后 kill -9 进程id
4.2更新引擎包
更新方式,参考数据挖掘版本更新中的手工部署新版本更新,如果python执行节点跟实验引擎在同台机器,这步骤可以省略
4.3.创建Python执行用户
创建用户组、用户并设置密码(若已创建则无需此操作)
groupadd mining #创建mining组 useradd -g mining mining-ag #创建启动用户(mining-ag)并指定用户组为mining passwd mining-ag #设置mining-ag用户密
给引擎安装目录附权限(为了使用mining-ag用户启动执行代理程序时候,有权限创建agent-data跟agent-logs目录)
chgrp mining /data/smartbi-mining-engine-bin chmod 775 /data/smartbi-mining-engine-bin
4.4 启动Python执行代理
①浏览器访问Smartbi,打开系统运维–数据挖掘配置–引擎设置,复制Python代理器启动命令
注意事项
复制Python代理器启动命令前,请确认数据挖掘引擎能正常测试连接成功
②登录到部署Python节点机器,并切换到mining-ag用户
注意事项
为了避免出现安全问题,一定要切换到mining-ag用户去启动执行代理服务,不要使用root用户安装或带有sudo权限的用户来启动执行代理服务
su - mining-ag
进入引擎启动目录
cd /data/smartbi-mining-engine-bin/engine/sbin
把拷贝命令粘贴,并执行,例如:
./agent-daemon.sh start --master http://10-10-204-248:8899 --env python
等待Python节点启动成功即可。
4.6.运维操作
1、更新Python数据挖掘引擎包
Smartbi更新war包版本时,Python执行节点需要同步更新对应版本的数据挖掘引擎。
Python节点集群部署参考:部署Python节点集群