...
| 注意 | ||
|---|---|---|
| ||
版本升级前，请提前备份好数据，避免因为升级问题导致数据异常 |
一、Smartbi更新war包
获取V10版本的Smartbi安装包。更新的详细方法，请参考：
数据挖掘引擎安装包版本要和smartbi的war包版本一致，更新时需要同步更新Python节点中的引擎包。
...
一、Smartbi更新
向smartbi官方获取V10版本的Smartbi安装包。更新的详细方法，请参考：War包更新方法
二、数据挖掘版本更新
若在smartbi中部署了数据挖掘，则数据挖掘引擎安装包版本要和smartbi的war包版本一致，更新时需要同步更新Python节点中的引擎包。
数据挖掘更新方法请参考：数据挖掘版本更新
三、Spark版本升级
| 注意 | ||
|---|---|---|
| ||
需要使用Smartbi提供的Spark3需要使用Smartbi官方提供的Spark3.1.2安装包部署 |
1. 停止旧版本Spark
进入spark安装目录，执行命令停止spark2.4服务
| 代码块 | ||
|---|---|---|
| ||
cd /data/spark-2.4.0-bin-hadoop2.7/sbin/ #注意进入实际spark部署目录 ./stop-all.sh |
| 注意 | ||
|---|---|---|
| ||
注意，如果出现无法停止情况，可以通过jps查看Spark服务(Spark的进程名有Master,Worker,CoarseGrainedExecutorBackend)进程id，然后 kill -9 进程id |
2.配置系统免密登陆
登陆服务器，生成密钥
| 代码块 | ||
|---|---|---|
| ||
ssh-keygen |
输入ssh-keygen后，连续按三次回车，不用输入其它信息。
复制公钥到文件中：
| 代码块 | ||
|---|---|---|
| ||
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys |
测试是否设置成功
示例:
| 代码块 | ||
|---|---|---|
| ||
ssh root@10-10-204-249 |
如果不用输入密码，表示配置成功
3.安装Spark
解压Spark到指定目录
| 代码块 | ||
|---|---|---|
| ||
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /data |
启动Spark
| 代码块 | ||
|---|---|---|
| ||
cd /data/spark-3.1.2-bin-hadoop3.2.tgz/sbin
./start-all.sh |
4. 检查Spark
在浏览器中输入：http://master节点的ip:8080，查看集群状态
在spark节点提交任务测试进入/data/spark-3.1.2-bin-hadoop3.2/bin目录，执行以下命令(注意将”节点IP”替换对应的IP或主机名)
| 代码块 |
|---|
./spark-submit --class org.apache.spark.examples.SparkPi --master spark://节点IP:7077 /data/spark-3.1.2-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.0.0.jar 100 |
运行得出圆周率Pi的近似值3.14即部署成功。
5. 运维操作
启动/停止spark服务
| 代码块 |
|---|
cd /data/spark-3.1.2-bin-hadoop3.2/sbin ./start-all.sh #启动spark#注意进入实际spark部署目录 ./stop-all.sh #停止spark |
Spark集群部署参考文档：部署Spark集群
6. Smartbi连接Spark
浏览器访问smartbi，打开系统运维–数据挖掘配置–执行引擎--计算节点配置，参考下图设置，修改完成后点击保存
配置spark计算节点：
配置Spark节点资源，点击一键推荐，系统会根据Spark work节点的服务器资源，生成推荐的配置(如果使用推荐值，记得点击保存，否则配置不生效)：
...
| 注意 | ||
|---|---|---|
| ||
注意，如果出现无法停止情况，可以通过jps查看Spark服务(Spark的进程名有Master,Worker,CoarseGrainedExecutorBackend)进程id，然后 kill -9 进程id |
2.部署新版本Spark
向smartbi官方获取新版本spark安装包，详细操作步骤请参考：部署Spark
2、安装Hadoop组件
数据挖掘V10版本增加了Hadoop节点中间数据存储，可根据需要部署。
...
浏览器访问smartbi，打开系统运维--数据挖掘配置–执行引擎–引擎配置 找到“节点数据hdfs存储目录”配置项，填写Hadoop地址
...
| title | 注意事项 |
|---|
...
4、Python执行节点更新
4.1停止旧Python服务
...
