...
SmartbiV9.5到V10版本升级内容如下：
| 组件 | V95版本 | V10版本 | 更新内容 | 备注 |
|---|---|---|---|---|
| Smartbi | √ | √ | Smartbi版本升级到V10 | |
| Smartbi-OLAP-Server | × | √ | 新增组件Smartbi-OLAP-Server |
...
| 高速缓存库 | √ | √ | 必须部署组件 |
...
| V10不支持Infobright，需要更换为SmartbiMPP | ||
| 数据挖掘 | √ | √ |
...
| 各部件的更新 |
...
| 包括数据挖掘实验引擎、服务引擎、spark、python更新升级，新增hadoop部署 |
| 注意 | ||
|---|---|---|
| ||
版本升级前，请提前备份好数据，避免因为升级问题导致数据异常 |
一、Smartbi更新
向smartbi官方获取V10版本的Smartbi安装包。更新的详细方法，请参考：War包更新方法
二、数据挖掘版本更新
若在smartbi中部署了数据挖掘，则数据挖掘引擎安装包版本要和smartbi的war包版本一致，更新时需要同步更新Python节点中的引擎包。
数据挖掘更新方法请参考：数据挖掘版本更新
三、Spark版本升级
| 注意 | ||
|---|---|---|
| ||
需要使用Smartbi官方提供的Spark3.1.2安装包部署 |
1. 停止旧版本Spark
进入spark安装目录，执行命令停止spark2.4服务
| 代码块 | ||
|---|---|---|
| ||
cd /data/spark-2.4.0-bin-hadoop2.7/sbin/ #注意进入实际spark部署目录
./stop-all.sh
|
| 注意 | ||
|---|---|---|
| ||
注意，如果出现无法停止情况，可以通过jps查看Spark服务(Spark的进程名有Master,Worker,CoarseGrainedExecutorBackend)进程id，然后 kill -9 进程id |
2.部署新版本Spark
向smartbi官方获取新版本spark安装包，详细操作步骤请参考：部署Spark
四、部署Hadoop
数据挖掘V10版本增加了Hadoop节点中间数据存储，可根据需要部署。
部署操作详细过程可参考：部署Hadoop
五、Python节点更新
1、停止旧Python服务
进入安装Python计算节点的服务器，进入目录，停止Python服务
| 代码块 | ||||
|---|---|---|---|---|
| ||||
cd /opt/smartbi-mining-engine-bin/engine/sbin
./python-daemon.sh stop |
| 注意 | ||
|---|---|---|
| ||
注意，如果出现无法停止情况，可以通过jps查看python服务进程id，然后 kill -9 进程id |
2、更新引擎包
更新方式，参考数据挖掘版本更新中的手工部署新版本更新，如果python执行节点跟实验引擎在同台机器，这步骤可以省略
3、创建Python执行用户
创建用户组、用户并设置密码（若已创建则无需此操作）
| 代码块 | ||||
|---|---|---|---|---|
| ||||
groupadd mining #创建mining组
useradd -g mining mining-ag #创建启动用户(mining-ag)并指定用户组为mining
passwd mining-ag #设置mining-ag用户密 |
给引擎安装目录附权限(为了使用mining-ag用户启动执行代理程序时候，有权限创建agent-data跟agent-logs目录)
| 代码块 | ||||
|---|---|---|---|---|
| ||||
chgrp mining /data/smartbi-mining-engine-bin
chmod 775 /data/smartbi-mining-engine-bin |
4、启动Python执行代理
①浏览器访问Smartbi，打开系统运维–数据挖掘配置–引擎设置，复制Python代理器启动命令
| 注意 | ||
|---|---|---|
| ||
复制Python代理器启动命令前，请确认数据挖掘引擎能正常测试连接成功 |
②登录到部署Python节点机器，并切换到mining-ag用户
| 注意 | ||
|---|---|---|
| ||
为了避免出现安全问题，一定要切换到mining-ag用户去启动执行代理服务，不要使用root用户安装或带有sudo权限的用户来启动执行代理服务 |
| 代码块 | ||||
|---|---|---|---|---|
| ||||
su - mining-ag |
进入引擎启动目录
| 代码块 | ||
|---|---|---|
| ||
cd /data/smartbi-mining-engine-bin/engine/sbin |
把拷贝命令粘贴，并执行，例如：
| 代码块 | ||
|---|---|---|
| ||
./agent-daemon.sh start --master http://10-10-204-248:8899 --env python |
等待Python节点启动成功即可。
5、运维操作
1、更新Python数据挖掘引擎包
Smartbi更新war包版本时，Python执行节点需要同步更新对应版本的数据挖掘引擎。
...
一、Windows EXE 部署
1. 覆盖升级
通过执行V10的EXE安装文件，可以对已安装的V95环境进行覆盖升级操作，具体可参考文档 Windows 客户端升级指南。
2. 切换高速缓存库
使用管理员初次访问升级后的V10环境，系统会进行自检，当检测到当前的高速缓存库为Infobright时：
① 为了确保新功能的正常使用，则会提醒用户重新配置高速缓存库。此时请参考文档切换高速缓存库，重新抽取。
② 如需正常访问原本基于Infobright建立的资源，请参考文档 Infobright 数据迁移到 SmartbiMppForWindows 进行数据迁移。
二、Linux Tomcat 部署
1. Smartbi更新
向Smartbi官方获取V10版本的Smartbi安装包。更新的详细方法，请参考：War包更新方法
2. 部署Smartbi OLAP Server
Smartbi OLAP Server为新增组件，详细的OLAP Server部署，请参考：Window部署、linux部署
3. 部署高速缓存库
① 初次部署
初次部署高速缓存库的请参考文档 部署Smartbi-MPP高速缓存库。
② 更新MPP
| 注意 |
|---|
SmartbiMPP支持 21.x及以上版本，若低于该版本则需进行更新 |
更新SmartbiMPP请参考文档 升级SmartbiMPP。
③ 切换高速缓存库
使用管理员初次访问升级后的V10环境，系统会进行自检，当检测到当前的高速缓存库为infobright时：
① 为了确保新功能的正常使用，则会提醒用户重新配置高速缓存库。此时请参考文档切换高速缓存库，重新抽取。
② 如需正常访问原本基于Infobright建立的资源，请参考文档 Infobright数据迁移到SmartbiMPP 进行数据迁移。
4. 数据挖掘版本更新
| 注意 |
|---|
① 数据挖掘引擎安装包版本要和Smartbi的war包版本一致； ② 更新时需要同步更新Python节点中的挖掘引擎包。 |
本次升级更新内容如下：
- Spark从2.4更新到3.1；
- 新增Hadoop组件；
数据挖掘各组件更新方法请参考：【数据挖掘】V9.5升级到V10版本
