SmartbiV95到V10版本升级内容如下：
| 组件 | V95版本 | V10版本 | 更新内容 | 备注 |
|---|---|---|---|---|
| Smartbi | √ | √ | Smartbi版本升级到V10 | |
| Smartbi-OLAP-Server | × | √ | 新增组件Smartbi-OLAP-Server | |
| 高速缓存库 | √ | √ | 必须部署组件 | 不支持Infobright，需要升级为SmartbiMPP |
| 注意 | ||
|---|---|---|
| ||
版本升级前，请提前备份好数据，避免因为升级问题导致数据异常 |
Smartbi更新war包
获取V10版本的Smartbi安装包。
数据挖掘引擎安装包版本要和smartbi的war包版本一致，更新时需要同步更新Python节点中的引擎包。
1、Spark版本升级
| 注意 | ||
|---|---|---|
| ||
需要使用Smartbi提供的Spark3.1.2安装包部署 |
1. 停止旧版本Spark
进入spark安装目录，执行命令停止spark2.4服务
...
| 注意 | ||
|---|---|---|
| ||
注意，如果出现无法停止情况，可以通过jps查看Spark服务(Spark的进程名有Master,Worker,CoarseGrainedExecutorBackend)进程id，然后 kill -9 进程id |
2.配置系统免密登陆
登陆服务器，生成密钥
| 代码块 | ||
|---|---|---|
| ||
ssh-keygen |
...
| 代码块 | ||
|---|---|---|
| ||
ssh root@10-10-204-249 |
如果不用输入密码，表示配置成功
3.安装Spark
解压Spark到指定目录
| 代码块 | ||
|---|---|---|
| ||
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /data |
...
| 代码块 | ||
|---|---|---|
| ||
cd /data/spark-3.1.2-bin-hadoop3.2.tgz/sbin ./start-all.sh |
4. 检查Spark
在浏览器中输入：http://master节点的ip:8080，查看集群状态
...
| 代码块 |
|---|
./spark-submit --class org.apache.spark.examples.SparkPi --master spark://节点IP:7077 /data/spark-3.1.2-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.0.0.jar 100 |
运行得出圆周率Pi的近似值3.14即部署成功。
5. 运维操作
启动/停止spark服务
| 代码块 |
|---|
cd /data/spark-3.1.2-bin-hadoop3.2/sbin ./start-all.sh #启动spark ./stop-all.sh #停止spark |
Spark集群部署参考文档：部署Spark集群
6. Smartbi连接Spark
浏览器访问smartbi，打开系统运维–数据挖掘配置–执行引擎--计算节点配置，参考下图设置，修改完成后点击保存
...
配置Spark节点资源，点击一键推荐，系统会根据Spark work节点的服务器资源，生成推荐的配置(如果使用推荐值，记得点击保存，否则配置不生效)：
Spark升级配置完成。
2、安装Hadoop组件
数据挖掘V10版本增加了Hadoop节点中间数据存储，可根据需要部署。
1、系统环境准备
1.1防火墙配置
为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。
...
| 代码块 | ||
|---|---|---|
| ||
systemctl status firewalld |
2.开启防火墙
相关服务及端口对照表：
| 服务名 | 需要开放端口 |
|---|---|
| Hadoop | 9864，9866，9867，9868，9870 |
如果确实需要打开防火墙安装，需要给防火墙放开以下需要使用到的端口
开启端口：9864，9866，9867，9868，9870
...
| 代码块 | ||
|---|---|---|
| ||
sed -i 's/=enforcing/=disabled/g' /etc/selinux/config |
1.2取消打开文件限制
修改/etc/security/limits.conf文件在文件的末尾加入以下内容：
...
| 代码块 | ||||
|---|---|---|---|---|
| ||||
* soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 |
2、Hadoop单节点安装
2.1 配置主机名映射
将数据挖掘组件中的服务器主机名映射到hosts文件中
...
| 代码块 | ||
|---|---|---|
| ||
10.10.204.248 10-10-204-248 10.10.204.249 10-10-204-249 10.10.204.250 10-10-204-250 |
2.2 配置系统免密登录
登陆服务器，生成密钥
| 代码块 | ||
|---|---|---|
| ||
ssh-keygen |
...
| 代码块 | ||
|---|---|---|
| ||
ssh root@10-10-204-249 |
如果不用输入密码，表示配置成功
2.3 安装JAVA环境
解压jdk到指定目录：
| 代码块 | ||
|---|---|---|
| ||
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /data |
...
| 代码块 | ||
|---|---|---|
| ||
java -version |
2.4 安装Hadoop
2.4.1.准备hadoop数据目录
创建临时目录
| 代码块 | ||
|---|---|---|
| ||
mkdir -p /data/hdfs/tmp |
...
| 代码块 | ||
|---|---|---|
| ||
mkdir -p /data/hdfs/data |
2.4.2.解压Hadoop到安装目录
| 代码块 | ||
|---|---|---|
| ||
tar -zxvf hadoop-3.2.2.tar.gz -C /data |
2.4.3.修改hadoop配置
①修改hadoop-env.sh
| 代码块 | ||
|---|---|---|
| ||
cd /data/hadoop-3.2.2/etc/hadoop vi hadoop-env.sh |
...
| 注意 | ||
|---|---|---|
| ||
hadoop-policy.xml配置文件仅添加两处配置项； 新增的security.client.protocol.hosts，security.client.datanode.protocol.hosts两个配置项中的值，要替换成实际环境的IP地址； 此配置文件是限制可以访问hadoop节点的服务器ip，提高hadoop应用的安全性。 |
2.4.4.配置hadoop环境变量
| 代码块 | ||
|---|---|---|
| ||
vi /etc/profile |
...
| 代码块 | ||
|---|---|---|
| ||
source /etc/profile |
2.4.5.启动Hadoop
①格式化hadoop
| 代码块 | ||
|---|---|---|
| ||
cd /data/hadoop-3.2.2/ ./bin/hdfs namenode -format |
...
| 代码块 |
|---|
hdfs dfs -mkdir /mining hdfs dfs -chown mining:mining /mining |
2.4.6.验证安装
①在浏览器输入: http://HadoopIP:9870/dfshealth.html#tab-overview 检查集群状态
...
| 代码块 | ||
|---|---|---|
| ||
hdfs dfs -ls / #显示创建的/mining即表示创建成功 |
2.5 运维操作
停止hadoop
| 代码块 | ||
|---|---|---|
| ||
cd /data/hadoop-3.2.2/ ./sbin/stop-dfs.sh |
...
查看日志
hadoop的日志路径：/data/hadoop-2.7.3/logs
安装部署或者使用中有问题，可能需要根据日志来分析解决。
Hadoop集群部署参考：部署Hadoop集群
3、设置执行引擎连接Hadoop
浏览器访问smartbi，打开系统运维--数据挖掘配置–执行引擎–引擎配置 找到“节点数据hdfs存储目录”配置项，填写Hadoop地址
...
| 注意 | ||
|---|---|---|
| ||
如果是Hadoop集群，上图中节点数据hdfs存储目录需要填写Hadoop管理节点的IP |
4、Python执行节点更新
4.1停止旧Python服务
进入安装Python计算节点的服务器，进入目录，停止Python服务
...
| 注意 | ||
|---|---|---|
| ||
注意，如果出现无法停止情况，可以通过jps查看python服务进程id，然后 kill -9 进程id |
4.2更新引擎包
更新方式，参考数据挖掘的更新方式，如果python执行节点跟实验引擎在同台机器，这步骤可以省略
4.3添加主机名映射
将数据挖掘组件中的服务器主机名映射到hosts文件中
...
| 代码块 | ||
|---|---|---|
| ||
10.10.204.248 10-10-204-248 10.10.204.249 10-10-204-249 10.10.204.250 10-10-204-250 |
4.4.创建Python执行用户
创建用户组、用户并设置密码
| 代码块 | ||||
|---|---|---|---|---|
| ||||
groupadd mining #创建mining组 useradd -g mining mining-ag #创建启动用户(mining-ag)并指定用户组为mining passwd mining-ag #设置mining-ag用户密 |
...
| 代码块 | ||||
|---|---|---|---|---|
| ||||
chgrp mining /data/smartbi-mining-engine-bin chmod 775 /data/smartbi-mining-engine-bin |
4.5.启动Python执行代理
①浏览器访问Smartbi，打开系统运维–数据挖掘配置–引擎设置，复制Python代理器启动命令
...
| 代码块 | ||
|---|---|---|
| ||
./agent-daemon.sh start --master http://10-10-204-248:8899 --env python |
等待Python节点启动成功即可。
4.6.运维操作
1、更新Python数据挖掘引擎包
Smartbi更新war包版本时，Python执行节点需要同步更新对应版本的数据挖掘引擎。
...
