Linux一键部署安装包
广州思迈特软件有限公司
2021年01月
使用文档
第1章 简介
1.1 目的和范围
1.2 术语和缩略语
第2章 Linux一键部署安装包介绍
2.1 安装包背景
2.2 安装包介绍
2.3 版本说明
2.4 运行环境
第3章 安装与部署
3.1 安装步骤
3.2 启动产品
3.2.1 启动脚本
3.2.2 手工启动
3.3 重启产品
3.3.1 重启脚本
3.3.2 手工重启
3.4 停止产品
3.4.1 停止脚本
3.4.2 手工停止
3.5 产品测试
3.5.1 测试高速缓存库
3.5.2 测试跨库联合查询
3.5.3 测试数据挖掘
3.6 产品升级
3.6.1 升级Smartbi版本
3.6.2 升级数据挖掘引擎版本
3.7 日志管理
3.8 产品卸载
第4章 常见问题与解答
文档包含Linux一键部署安装包说明,部署流程,部署完成后访问测试,产品更新升级,常见问题排除方法。
缩略语 |
定义 |
|
|
基于Linux操作系统环境,部署Smartbi产品相对较为复杂,Linux一键部署安装包能简化部署流程,提高部署效率。
Linux一键部署安装包需要使用root或者带有sudo权限的用户运行。
Linux一键部署安装包中包含以下文件:
文件/文件夹名称 |
说明 |
备注 |
install.sh |
安装服务脚本 |
|
startup.sh |
启动服务脚本 |
|
restart.sh |
重启服务脚本 |
|
stop.sh |
停止服务脚本 |
|
uninstall.sh |
卸载服务脚本 |
|
smartbi_env |
服务相关环境变量文件 |
|
software/ |
包含所有组件的安装包、依赖包和一些调试工具 |
|
packageInfo.txt |
安装包版本信息 |
安装完成后自动生成 |
Linux一键部署安装包中包含以下服务:
服务 |
说明 |
版本 |
Tomcat |
Tomcat中间件 |
8.5.61 |
Smartbi |
Smartbi主程序 |
V9.5 |
MySQL |
Mysql知识库 |
5.7.31 |
Jdk |
jdk |
1.8 |
SmartbiMPP |
高速缓存库 |
19.4 |
SmartbiEngine |
数据挖掘引擎 |
V9.5 |
SmartbiUnionserver |
跨库联合查询 |
0.218 |
Linux一键部署安装包中包含的软件的依赖包:
组件 |
需要的依赖 |
安装包中包含的依赖包 |
Mysql |
libaio |
libaio-0.3.107 |
|
numactl |
numactl-2.0.9 |
SmartbiMPP |
libicu-50 |
libicu-50.2 |
|
kernel-headers |
kernel-headers-2.6.32 |
|
glibc版本 > 2.14 |
glibc-2.15 |
|
|
glibc-common-2.15 |
|
|
glibc-devel-2.15 |
|
|
glibc-headers-2.15 |
注意:选择安装Mysql和SmartbiMPP组件时,如果操作系统中相关依赖不存在或者版本不满足,安装时,脚本将会自动的安装服务所需要的依赖。
Linux一键部署安装包V1.0 支持单节点部署,相关信息见 2.2安装包介绍。
Linux一键部署安装包V1.0 适用于POC或者测试环境,生产环境建议手工部署。
系统要求:
服务器类型 |
操作系统 |
支持的版本号 |
x86_64服务器 |
CentOS操作系统 |
Centos6.5~Centos6.9 Centos7.0~Centos7.9 |
|
|
|
|
RedHat操作系统 |
RedHat6.5~RedHat6.9 RedHat7.0~RedHat7.9 |
|
|
|
服务器最低配置要求:
CPU |
内存 |
部署目录 |
4核 |
16G |
50G |
服务使用端口:
服务 |
端口号 |
备注 |
Tomcat |
18080 |
|
Mysql |
6688 |
|
SmartbiMPP |
8123 |
|
SmartbiEngine |
8899、8900 |
|
SmartbiUnionserver |
48080 |
|
1.上传安装包到服务器,并解压
tar -zxvf Smartbi_CentOS_x86_CN_xxx.tar.gz #注意替换成实际的安装包名称
2.进入安装包解压目录,开始安装产品
①脚本添加执行权限
chmod +x *.sh
②执行install.sh脚本安装产品(注意本文档基于centos7操作系统部署并截图)
./install.sh #执行安装
脚本会检测系统内核版本和CPU架构,如果不符合要求则会自动退出脚本执行;
脚本会检测/etc/hosts文件,是否包含 "127.0.0.1 服务器主机名" 的解析,如果不包含,则添加,包含则跳过(跨库联合查询和数据挖掘引擎会读取此配置)。
选择需要安装的组件:
输入 y 或者 n 表示安装或者不安装Mysql数据库,选择下一个组件
输入 y 或者 n 表示安装或者不安装SmartbiMPP,选择下一个组件
输入 y 或者 n 表示安装或者不安装数据挖掘引擎,选择下一个组件
输入 y 或者 n 表示安装或者不安装跨库联合查询
根据实际需要选择是否安装,注意:直接回车 表示安装。
选择安装组件后,会打印出已选择安装的组件列表,确认则输入 y 。重新选择安装组件则输入 n并且脚本会退出执行,重新执行install.sh安装脚本,并选择需要安装的组件。
确认安装组件选择后,脚本会开始自动安装服务,安装成功如下
服务安装完成后,脚本会检测服务器防火墙状态,如果防火墙开启,则会提示是否通过脚本开放服务使用的相关端口,输入 y 表示使用脚本开放相关端口
注意:下图基于centos7操作系统部署截图
输入 n 表示不使用脚本开放相关端口,脚本会给出提示,如下图:
如果服务器防火墙为关闭状态,则脚本会跳过防火墙配置部分,如下图:
如果脚本无法获取服务器防火墙状态,则会跳过防火墙配置提示,并且给出提示,如下图:
如果防火墙状态开启,未通过脚本开放防火墙,则需要安装完成后手工开启服务使用的端口号。
防火墙部分设置完成后,会打印出已安装服务的版本信息,以及Smartbi访问地址和Smartbi初始账号密码
服务安装完成。
如果在安装过程中报错,在处理完错误后,重新安装时需要执行以下操作:
./uninstall.sh #删除已安装的程序或文件
./install.sh #重新开始安装
执行install.sh完成产品安装后,可以通过执行startup.sh脚本启动所有已安装的服务。
执行startup.sh脚本之前,需要执行以下命令生成相关环境变量。
cd <安装目录>
source smartbi_env
如果未执行source smartbi_env ,直接运行启动脚本,则会提示需要执行该命令,如下图:
Source环境变量文件后,执行脚本启动已安装的服务:
./startup.sh #启动所有安装的服务
启动成功,如下图所示:
启动成功后,即可通过浏览器访问Smartbi,http://IP:18080/smartbi
首次安装启动smartbi,通过浏览器访问时,会跳转到smartbi config页面,并提示设置该页面访问密码,如下图:
设置smartbi config页面访问密码之后,点击确定,页面会提示需要配置License文件,如下图:
点击配置license,跳转到配置页面;
点击选择,选择License,点击上传,上传成功后,点击测试知识库连接,提示连接成后,点击保存。
Smartbi config页面配置完成,需要重启Smartbi,使配置生效,重启方法请参考 3.3重启产品。
手工启动服务的方法如下:
注意:启动服务前需要执行 source smartbi_env 生成相关的环境变量。
cd <安装目录>
source smartbi_env
①启动Mysql数据库
cd <安装目录>/Mysql/
./mysqld start
②启动Tomcat
cd <安装目录>/Tomcat/bin/
./startup.sh
③启动Smartbi MPP
Centos6操作系统:
service clickhouse-server start
Centos7操作系统:
systemctl start clickhouse-server
④启动数据挖掘引擎
cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh start #启动执行引擎
./service-daemon.sh start #启动服务引擎
⑤启动跨库联合查询
cd <安装目录>/SmartbiUnionserver/
nohup sh run.sh > /dev/null 2>&1 &
Linux一键安装包中的重启脚本restart.sh,可以重启所有已安装的服务。
重启所有安装的服务,可执行以下操作:
cd <安装目录>
source smartbi_env
./restart.sh #重启所有安装的服务
执行脚本时需要输入 y 确认重启所有已部署的服务,输入 n 则不重启并且脚本退出执行:
手工重启服务的方法如下:
注意:重启服务前需要执行 source smartbi_env 生成相关的环境变量。
cd <安装目录>
source smartbi_env
①重启Mysql数据库
cd <安装目录>/Mysql/
./mysqld restart
②重启Tomcat
cd <安装目录>/Tomcat/bin/
ps -ef | grep "Tomcat" | grep "Jdk" #找到Tomcat进程ID
kill -9 Tomcat进程ID #结束Tomcat进程
./startup.sh #启动Tomcat
③重启Smartbi MPP
Centos6操作系统:
service clickhouse-server restart
Centos7操作系统:
systemctl restart clickhouse-server
④重启数据挖掘引擎
cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh restart #重启执行引擎
./service-daemon.sh restart #重启服务引擎
⑤重启跨库联合查询
cd <安装目录>/SmartbiUnionserver/
ps -ef | grep "SmartbiUnionserver" | grep "Jdk" #找到跨库联合查询进程ID
kill -9 跨库联合查询进程ID #结束跨库联合查询进程
nohup sh run.sh > /dev/null 2>&1 & #启动跨库联合查询
Linux一键部署安装包中的stop.sh脚本,可以停止所有已安装的服务。
停止所有已安装的服务,可以执行以下操作:
cd <安装目录>
./stop.sh #停止所有安装的服务
执行脚本时需要输入 y 确认停止所有已部署的服务,输入 n 则不停止并且脚本退出执行:
手工停止服务的方法如下:
cd <安装目录>
source smartbi_env
①停止Mysql数据库
cd <安装目录>/Mysql/
./mysqld stop
②停止Tomcat
ps -ef | grep "Tomcat" | grep "Jdk" #找到Tomcat进程ID
kill -9 Tomcat进程ID #结束Tomcat进程
③停止Smartbi MPP
Centos6操作系统:
service clickhouse-server stop
Centos7操作系统:
systemctl stop clickhouse-server
④停止数据挖掘引擎
cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh stop #停止执行引擎
./service-daemon.sh stop #停止服务引擎
⑤停止跨库联合查询
cd <安装目录>/SmartbiUnionserver/
ps -ef | grep "SmartbiUnionserver" | grep "Jdk" #找到跨库联合查询进程ID
kill -9 跨库联合查询进程ID #结束跨库联合查询进程
参考本章节测试部署的服务是否能正常使用。
Linux一键部署安装包完成安装,访问Smartbi config页面和上传License文件,并重启Tomcat服务后。可以通过浏览器访问登录smartbi (http://IP:18080/smartbi)。
首次登录默认账号:admin 密码:manager
登录后会跳转到修改密码页面,输入新的密码,提交后,即可正常进入smartbi。
测试高速缓存库连接
打开数据连接--高速缓存库,点击测试连接,提示连接成功,即表示高速缓存库连接正常。
测试跨库联合查询
打开数据连接--跨库联合数据源,点击测试连接,提示连接成功,即表示跨库联合查询连接正常。
测试数据挖掘引擎
打开系统运维-系统选项-引擎设置,分别点击测试引擎连接和测试服务连接,都提示连接成功,即表示数据挖掘引擎连接正常。
点击执行引擎,检查相关配置,如下图:
检查smarbi连接地址和端口(注意 localhost:18080 为正常连接地址)
输入smartbi系统管理员账号密码
点击服务引擎,检查相关配置,如下图:
检查smarbi连接地址和端口(注意 localhost:18080 为正常连接地址)
输入smartbi系统管理员账号密码
检查并设置完成后即可运行数据挖掘实验和服务。
①停止Tomcat进程
ps -ef | grep "Tomcat" | grep "Jdk" #找到Tomcat进程ID
kill -9 Tomcat进程ID #结束Tomcat进程
②删除旧的smartbi war包
cd <安装目录>/Tomcat/webapps/
#删除前可以将war包备份到其他目录中。
rm -rf smartbi*
③上传新的smartbi war包到<安装目录>/Tomcat/webapps/目录下
可以使用wincp或者其他工具,将smartbi war包到<安装目录>/Tomcat/webapps/目录下。
上传完成后,重新启动Tomcat服务:
cd <安装目录>/Tomcat/bin/
./startup.sh
启动完成后,可通过浏览器访问smartbi,进入升级页面,升级完成即可正常访问smartbi。
Smartbi war包版本升级后,需要同步升级数据挖掘版本。
①停止数据挖掘引擎
cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh stop #停止执行引擎
./service-daemon.sh stop #停止服务引擎
②删除旧的engine/目录,删除前请备份
cd <安装目录>/SmartbiEngine
rm -rf engine/
③解压新的数据挖掘安装包,并上传engine/目录
tar -zxvf SmartbiMiningEngine_xxxx.tar.gz #注意提换成实际的安装包名称
可以使用wincp或者其他工具,将新的engine/目录上传到<安装目录>/SmartbiEngine目录下。
上传完成后,重新启动数据挖掘引擎:
cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh start #启动执行引擎
./service-daemon.sh start #启动服务引擎
启动完成后,登陆smartbi,测试数据挖掘是否升级成功。
在产品运行过程中如果遇到问题,可以通过查看日志信息快速的定位到问题产生的原因,下面介绍各个组件服务日志的存放路径信息:
文件目录 |
文件内容 |
<安装目录>/Tomcat/logs/catalina.out |
Tocamt日志 |
<安装目录>/Tomcat/bin/smartbi.log |
Smartbi日志 |
<安装目录>/Mysql/mysqld.log |
Mysql日志 |
<安装目录>/SmartbiEngine/logs/experiment.log |
数据挖掘-执行引擎日志 |
<安装目录>/SmartbiEngine/logs/service.log |
数据挖掘-服务引擎日志 |
<安装目录>/SmartbiUnionserver/var/log/server.log |
跨库联合查询日志 |
/var/log/clickhouse-server/clickhouse-server.err.log |
SmartbiMPP错误日志 |
/var/log/clickhouse-server/clickhouse-server.log |
SmartbiMPP运行日志 |
Linux一键部署安装包中的uninstall.sh脚本,可以卸载所有已安装的服务。
注意:执行卸载脚本前,如果有重要数据(如Mysql数据库数据,MPP抽取的数据等等),请提前备份到服务器的其他目录中,避免被删除。
uninstall.sh脚本执行后会卸载并删除部署服务时所生成的目录。
安装所有服务的目录结构如下:
执行卸载脚本uninstall.sh后的目录结构如下图:
如果需要卸载所有已安装的服务,可以执行以下操作:
./uninstall.sh #卸载所有安装的服务
执行脚本时需要输入 y 确认卸载所有已部署的服务,输入 n 则不卸载并且脚本退出执行:
卸载服务后,可以重新执行 install.sh安装服务。
1、JVM内存大小修改
Linux一键部署安装包中,默认JVM最小内存、最大内存值均为4096M,如果需要修改此参数可以参考以下步骤:
cd <安装目录>
vi smartbi_env
#找到文件末尾行,修改-Xms和-Xmx的值即可,注意,文件中其他配置请勿修改,避免服务运行出错
export JAVA_OPTS=$JAVA_OPTS" -Xms4096m -Xmx4096m"
修改完成后,保存,执行以下命令,使修改生效:
source smartbi_env
2、服务器登陆访问Mysql
服务器登录Mysql的方法如下:
cd <安装目录>/Mysql
bin/mysql -u admin -p -P 6688 -S mysql.sock
注意:Mysql默认账号密码admin/admin
3、