基于Linux环境部署Smartbi产品相对较为复杂,为了提高部署效率,可使用Linux一键部署安装包来简化部署流程。
文档包含Linux一键部署安装包说明、部署流程、署完成后访问测试、产品更新升级以及常见问题排除方法。
安装包请联系Smartbi官方支持获取。
Linux一键部署安装包需要使用root或者带有sudo权限的用户运行
官方预构建的clickhouse二进制文件通常针对x86_64进行编译,并利用SSE 4.2
指令集,部署前需要检查环境是否支持SSE4.2指令
grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
Linux一键部署安装包中包含以下Smartbi组件服务;
组件服务 | 说明 | 版本信息 | 端口 | 备注 |
---|---|---|---|---|
Tomcat | Tomcat中间件 | 8.5.89 | 18080 | 版本会有变动,以实际为准 |
Smartbi | Smartbi主程序 | V11 | ||
MySQL | Mysql知识库 | 5.7.36 | 6688 | 版本会有变动,以实际为准 |
Jdk | jdk | 1.8 | ||
SmartbiMPP | 高速缓存库 | 22.8 | 8123 | 版本会有变动,以实际为准 |
SmartbiEngine | 数据挖掘引擎 | V11 | 8899、8900 | |
Smartbi OLAP Server | OLAP | V11 | 18081 | |
SmartbiTimeSeries | 数据预警时序库 | v1.105.0 | 8428 | 版本会有变动,以实际为准 |
注意事项
安装包中的MySQL包含相关示例数据源。
如果安装时不选择安装MySQL知识库,则部署完成后需要自行配置知识库相关信息。
Linux一键部署安装包中包含以下文件:
文件/文件夹 | 说明 | 备注 |
---|---|---|
install.sh | 安装服务脚本 | |
startup.sh | 启动服务脚本 | |
restart.sh | 重启服务脚本 | |
stop.sh | 停止服务脚本 | |
uninstall.sh | 卸载服务脚本 | |
smartbi_env | 服务相关环境变量文件 | |
software | 包含所有组件的安装包、依赖包和一些调试工具 | |
packageInfo.txt | 安装包版本信息 | 安装完成后自动生成 |
Linux一键部署安装包中包含的软件依赖包:
组件服务 | 需要的依赖包 | 包含的依赖包 |
---|---|---|
MySQL | libaio | libaio-0.3.107 |
numactl | numactl-2.0.9 | |
SmartbiMPP | libicu-50 | libicu-50.2 |
kernel-headers | kernel-headers-2.6.32 | |
glibc版本 > 2.14 | glibc-2.15 | |
glibc-common-2.15 | ||
glibc-devel-2.15 | ||
glibc-headers-2.15 |
注意事项
选择安装MySQL和SmartbiMPP组件时,如果操作系统中相关依赖不存在或者版本不满足,安装时,脚本将会自动的安装服务所需要的依赖(需要sudo或root权限)。
版本说明
Linux一键部署安装包V11.0 支持单节点部署。
Linux一键部署安装包V11.0 适用于POC或者测试环境,生产环境建议手工部署。
说明
为什么不建议在生产环境上直接使用一键部署安装包进行部署?
1、一键部署安装包的组件都是单机,单节点部署,如果上生产环境,可能有单点故障问题。
2、所有组件部署在一个节点,也容易出现资源互相抢占的问题。
运行环境
系统要求:
服务器类型 | 操作系统 | 支持的版本号 |
---|---|---|
x86_64服务器 | CentOS | Centos7.0~Centos7.9(内核版本3.10) |
RedHat | RedHat7.0~RedHat7.9(内核版本3.10) | |
银河麒麟 | Kylin V10 Server | |
统信 | UOS 20.x Server | |
欧拉 | openEuler 20.x | |
ubuntu | 22.x |
服务器最低配置要求:
CPU | 内存 | 部署目录 |
---|---|---|
4核 | 16G | 50G |
关于配置
最低配置要求仅代表能部署Linux一键部署安装包中的服务,但运行过程中性能会较差,可以根据实际环境提升服务器配置。
1.安装部署
1、上传安装包到服务器,并解压
tar -zxvf Smartbi_x86_CN_xxx.tar.gz #注意替换成实际的安装包名称
2、进入安装包解压目录,开始安装产品
①脚本添加执行权限
chmod +x *.sh
②执行install.sh脚本安装产品(注意本文档基于centos7操作系统部署并截图)
./install.sh #执行安装
脚本会检测系统版本和CPU架构,如果不符合要求则会自动退出脚本执行;
选择需要安装的组件:
根据实际需要选择是否安装,注意:直接回车 表示安装。
选择安装组件后,会打印出已选择安装的组件列表,确认则输入 y 。重新选择安装组件则输入 n并且脚本会退出执行,重新执行install.sh安装脚本,并选择需要安装的组件。
确认安装组件选择后,脚本会开始自动安装服务,安装成功如下:
服务安装完成后,会打印出已安装服务的版本信息,以及Smartbi访问地址和Smartbi初始账号密码:
服务安装完成。
如果在安装过程中报错,在处理完错误后,重新安装时需要执行以下操作:
./uninstall.sh #删除已安装的程序或文件 ./install.sh #重新开始安装
2.启动产品
2.1启动脚本
执行install.sh完成产品安装后,可以通过执行startup.sh脚本启动所有已安装的服务。
执行startup.sh脚本之前,需要执行以下命令生成相关环境变量。
cd <安装目录> source smartbi_env
如果未执行source smartbi_env ,直接运行启动脚本,则会提示需要执行该命令,如下图:
Source环境变量文件后,执行脚本启动已安装的服务:
./startup.sh #启动所有安装的服务
启动成功,如下图所示:
启动成功后,即可通过浏览器访问Smartbi,http://IP:18080/smartbi
Smartbi V11版本可以免费试用体验30天。部署完成后可以直接访问Smartbi。
如果需要更新license文件,可以参考以下文档
首次安装启动Smartbi,通过浏览器访问时,会跳转到Smartbi Config页面,并提示设置该页面访问密码,如下图:
设置Smartbi Config页面访问密码之后,点击确定,页面会提示需要配置License文件,如下图:
点击配置license,跳转到配置页面;
点击选择,选择License,点击上传,上传成功后,点击测试知识库连接,提示连接成后,点击保存。
Smartbi config页面配置完成,需要重启Smartbi,使配置生效,重启方法请参考 后续文档。
2.2手动启动
手工启动服务的方法如下:
注意:启动服务前需要执行 source smartbi_env 生成相关的环境变量。
cd <安装目录> source smartbi_env ./startup.sh #启动所有安装的服务
①启动Mysql数据库
cd <安装目录>/Mysql/ ./mysqld start
②启动Tomcat
cd <安装目录>/Tomcat/bin/ ./startup.sh
③启动Smartbi OLAP Server
cd <安装目录>/SmartbiOLAP nohup ./startup.sh &
④启动Smartbi MPP
cd <安装目录>/SmartbiMPP sh clickhouse.sh start
⑤启动数据挖掘引擎
cd <安装目录>/SmartbiEngine/engine/sbin/ ./experiment-daemon.sh start #启动执行引擎 ./service-daemon.sh start #启动服务引擎
⑥启动SmartbiTimeSeries
cd <安装目录>/SmartbiTimeSeries/ ./startup_SmartbiTimeSeries.sh
3.重启产品
3.1重启脚本
Linux一键安装包中的重启脚本restart.sh,可以重启所有已安装的服务。
重启所有安装的服务,可执行以下操作:
cd <安装目录> source smartbi_env ./restart.sh #重启所有安装的服务
执行脚本时需要输入 y 确认重启所有已部署的服务,输入 n 则不重启并且脚本退出执行:
3.2手动重启
手工重启服务的方法如下:
注意:重启服务前需要执行 source smartbi_env 生成相关的环境变量。
cd <安装目录> source smartbi_env
①重启Mysql数据库
cd <安装目录>/Mysql/ ./mysqld restart
②重启Tomcat
cd <安装目录>/Tomcat/bin/ ps -ef | grep "Tomcat" | grep "Jdk" #找到Tomcat进程ID kill -9 Tomcat进程ID #结束Tomcat进程 ./startup.sh #启动Tomcat
③重启Smartbi OLAP Server
cd <安装目录>/SmartbiOLAP ps -ef | grep "SmartbiOLAP" | grep "Jdk" #找到OLAP进程ID kill -9 进程ID #结束OLAP进程 nohup ./startup.sh & #启动OLAP
④重启Smartbi MPP
cd <安装目录>/SmartbiMPP sh clickhouse.sh restart
⑤重启数据挖掘引擎
cd <安装目录>/SmartbiEngine/engine/sbin/ ./experiment-daemon.sh restart #重启执行引擎 ./service-daemon.sh restart #重启服务引擎
⑥重启SmartbiTimeSeries
cd <安装目录>/SmartbiTimeSeries/ ./stop_SmartbiTimeSeries.sh #停止服务 ./startup_SmartbiTimeSeries.sh #启动服务
4.停止产品
4.1停止脚本
Linux一键部署安装包中的stop.sh脚本,可以停止所有已安装的服务。
停止所有已安装的服务,可以执行以下操作:
cd <安装目录> ./stop.sh #停止所有安装的服务
执行脚本时需要输入 y 确认停止所有已部署的服务,输入 n 则不停止并且脚本退出执行:
4.2手动停止
手工停止服务的方法如下:
cd <安装目录> source smartbi_env
①停止Mysql数据库
cd <安装目录>/Mysql/ ./mysqld stop
②停止Tomcat
ps -ef | grep "Tomcat" | grep "Jdk" #找到Tomcat进程ID kill -9 Tomcat进程ID #结束Tomcat进程
③停止Smartbi OLAP Server
ps -ef | grep "SmartbiOLAP" | grep "Jdk" #找到SmartbiOLAP进程ID kill -9 进程ID
④停止Smartbi MPP
cd <安装目录>/SmartbiMPP sh clickhouse.sh stop
⑤停止数据挖掘引擎
cd <安装目录>/SmartbiEngine/engine/sbin/ ./experiment-daemon.sh stop #停止执行引擎 ./service-daemon.sh stop #停止服务引擎
⑥停止SmartbiTimeSeries
cd <安装目录>/SmartbiTimeSeries/ ./stop_SmartbiTimeSeries.sh #停止服务
5、部署后验证
参考本章节测试部署的服务是否能正常使用。
Linux一键部署安装包安装完成后,可以通过浏览器访问登录smartbi (http://IP:18080/smartbi)。
首次登录默认账号:admin 密码:manager
登录后会跳转到修改密码页面,输入新的密码,提交后,即可正常进入smartbi。
5.1测试高速缓存库
测试高速缓存库连接
打开数据连接--高速缓存库,点击测试连接,提示连接成功,即表示高速缓存库连接正常。
5.2测试数据挖掘引擎
测试数据挖掘引擎
打开运维设置--数据挖掘配置--引擎设置,点击测试引擎地址,都提示平台到引擎双向成功
点击测试服务地址,都提示平台到服务双向成功
点击执行引擎,检查相关配置,如下图:
检查smarbi连接地址和端口(注意 localhost:18080 为正常连接地址)
点击服务引擎,检查相关配置,如下图:
检查smarbi连接地址和端口(注意 localhost:18080 为正常连接地址)
检查并设置完成后即可运行数据挖掘实验和服务。
6.产品升级
6.1升级Smartbi版本
①停止Tomcat进程
ps -ef | grep "Tomcat" | grep "Jdk" #找到Tomcat进程ID kill -9 Tomcat进程ID #结束Tomcat进程
②删除旧的smartbi war包
cd <安装目录>/Tomcat/webapps/ #删除前可以将war包备份到其他目录中。 rm -rf smartbi*
③上传新的smartbi war包到<安装目录>/Tomcat/webapps/目录下
可以使用wincp或者其他工具,将smartbi war包到<安装目录>/Tomcat/webapps/目录下。
上传完成后,重新启动Tomcat服务:
cd <安装目录> source smartbi_env cd <安装目录>/Tomcat/bin/ ./startup.sh
启动完成后,可通过浏览器访问smartbi,进入升级页面,升级完成即可正常访问smartbi。
6.2升级数据挖掘引擎
Smartbi war包版本升级后,需要同步升级数据挖掘版本。
①停止数据挖掘引擎
cd <安装目录> source smartbi_env cd <安装目录>/SmartbiEngine/engine/sbin/ ./experiment-daemon.sh stop #停止执行引擎 ./service-daemon.sh stop #停止服务引擎
②删除旧的engine/目录,删除前请备份
cd <安装目录>/SmartbiEngine rm -rf engine/
③解压新的数据挖掘安装包,并上传engine/目录
tar -zxvf SmartbiMiningEngine_xxxx.tar.gz #注意提换成实际的安装包名称
可以使用wincp或者其他工具,将新的engine/目录上传到<安装目录>/SmartbiEngine目录下。
上传完成后,重新启动数据挖掘引擎:
cd <安装目录> source smartbi_env cd <安装目录>/SmartbiEngine/engine/sbin/ ./experiment-daemon.sh start #启动执行引擎 ./service-daemon.sh start #启动服务引擎
启动完成后,登陆smartbi,测试数据挖掘是否升级成功。
6.3升级Smartbi OLAP Server
Smartbi OLAP Server更新,一般只需要更新SmartbiOLAPServer.jar文件。
①停止Smartbi OLAP Server
cd <安装目录>/SmartbiOLAP ps -ef | grep "SmartbiOLAP" | grep "Jdk" #找到SmartbiOLAP进程ID kill -9 进程ID
②备份旧SmartbiOLAPServer.jar文件
cd <安装目录>/SmartbiOLAP mv SmartbiOLAPServer.jar SmartbiOLAPServer.jar_bk
③上传新的SmartbiOLAPServer.jar文件到<安装目录>/SmartbiOLAP 目录下,重启启动服务
cd <安装目录>/SmartbiOLAP nohup ./startup.sh & #启动OLAP
7.日志管理
在产品运行过程中如果遇到问题,可以通过查看日志信息快速的定位到问题产生的原因,下面介绍各个组件服务日志的存放路径信息:
文件目录 | 日志内容 |
---|---|
<安装目录>/Tomcat/logs/catalina.out | Tocamt日志 |
<安装目录>/Tomcat/bin/smartbi.log | Smartbi日志 |
<安装目录>/Mysql/mysqld.log | Mysql日志 |
<安装目录>/SmartbiEngine/logs/experiment.log | 数据挖掘-执行引擎日志 |
<安装目录>/SmartbiEngine/logs/service.log | 数据挖掘-服务引擎日志 |
<安装目录>/SmartbiMPP/var/log/clickhouse-server | SmartbiMPP日志 |
<安装目录>/SmartbiOLAP/nohup_smartbi_olap_deamon.out | 数据模型SmartbiOLAP的守护进程日志 |
<安装目录>/SmartbiOLAP/nohup_smartbi_olap.out | 数据模型SmartbiOLAP的日志 |
8.产品卸载
Linux一键部署安装包中的uninstall.sh脚本,可以卸载所有已安装的服务。
注意:执行卸载脚本前,如果有重要数据(如Mysql数据库数据,MPP抽取的数据等等),请提前将其备份到服务器的其他目录中,避免由于卸载删除后数据丢失。
uninstall.sh脚本执行后会卸载并删除部署服务时所生成的目录。
安装所有服务的目录结构如下:
执行卸载脚本uninstall.sh后的目录结构如下图
如果需要卸载所有已安装的服务,可以执行以下操作:
./uninstall.sh #卸载所有安装的服务
执行脚本时需要输入 y 确认卸载所有已部署的服务,输入 n 则不卸载并且脚本退出执行:
卸载服务后,可以重新执行 install.sh安装服务
9.常见问题与解答
9.1 JVM内存大小修改
Linux一键部署安装包中,默认JVM最小内存、最大内存值均为4096M,如果需要修改此参数可以参考以下步骤:
cd <安装目录> vi smartbi_env
#找到文件末尾行,修改-Xms和-Xmx的值即可,注意,文件中其他配置请勿修改,避免服务运行出错
export JAVA_OPTS=$JAVA_OPTS" -Xms4096m -Xmx4096m"
修改完成后,保存,执行以下命令,使修改生效:
cd <安装目录> source smartbi_env #重启Tomcat cd <安装目录>/Tomcat/bin/ ps -ef | grep "Tomcat" | grep "Jdk" #找到Tomcat进程ID kill -9 Tomcat进程ID #结束Tomcat进程 ./startup.sh #启动Tomcat
9.2 服务器登陆访问Mysql和修改默认密码
1、服务器登录Mysql的方法如下:
cd <安装目录>/Mysql bin/mysql -u admin -p -P 6688 -S mysql.sock
注意:Mysql默认账号密码admin/admin
2、修改Mysql admin用户密码
cd <安装目录>/Mysql bin/mysql -u admin -p -P 6688 -S mysql.sock #以下命令登陆mysql之后操作 ALTER USER 'admin'@'%' IDENTIFIED BY 'NEWPASSWORD'; flush privileges;
9.3 SmartbiMPP修改默认数据存放路径
SmartbiMPP默认数据存放路径:<安装目录>/SmartbiMPP/var/lib/clickhouse/
可以通过修改配置文件重新设置数据存放目录:
vi <安装目录>/SmartbiMPP/etc/clickhouse-server/config.xml
修改以下配置(具体路径可自定义,目录权限需要和部署用户相同):
<path><安装目录>/var/lib/clickhouse/</path> <tmp_path><安装目录>/var/lib/clickhouse/tmp/</tmp_path> <user_files_path><安装目录>/var/lib/clickhouse/user_files/</user_files_path>
修改完成后保存,并重启SmartbiMPP
9.4 SmartbiMPP启动失败调试、客户端登陆
1、启动失败调试方法
出现SmartbiMPP启动失败,但是又没有日志的情况,可以使用如下命令启动SmartbiMPP,在前端获取启动日志分析问题。
cd <安装目录>/SmartbiMPP/ usr/bin/clickhouse-server --config-file etc/clickhouse-server/config.xml --pid-file var/run/clickhouse-server/clickhouse-server.pid
2、SmartbiMPP客户端登陆方式,注意替换成实际信息
cd <安装目录>/SmartbiMPP/ usr/bin/clickhouse-client --host [IP地址] --port 9000 --user default --password [密码]
9.5 启动服务失败
问题:使用Linux一键部署安装安装完成后,启动时,部分服务提示启动失败。
问题原因:Linux一键部署安装包是通过检测服务的监听端口是否正常启动来判断服务是否正常启动。如果服务启动失败,一般是限定时间内(5-10秒左右),服务监听端口还没启动,导致检测失败。
解决方案:建议不要修改服务默认监听端口,提高服务器的配置,提高服务启动效率。
9.6 设置开机自启
Linux一键部署安装包设置开机自启,可以参考以下方式配置
1、新增开机自启脚本
cd <安装目录> vi start_services.sh
开机自启脚本如下:
#!/bin/bash set -e #注意将/data/Smartbi_x86_CN_V11.0替换成实际的安装路径 source /data/Smartbi_x86_CN_V11.0/smartbi_env cd /data/Smartbi_x86_CN_V11.0 && sh startup.sh
添加执行权限
chmod +x start_services.sh
2、新增systemd启动文件,需要有root权限或者sudo权限
vi /etc/systemd/system/start_services.service
内容如下
[Unit] Description=Start Services Script After=network.target [Service] Type=oneshot #替换成实际用户 User=root #替换成实际用户组 Group=root #替换成实际的部署目录 ExecStart=/data/Smartbi_x86_CN_V11.0/start_services.sh #替换成实际的部署目录 WorkingDirectory=/data/Smartbi_x86_CN_V11.0 StandardOutput=syslog StandardError=syslog SyslogIdentifier=start-services-script TimeoutStartSec=300 KillMode=process RemainAfterExit=yes [Install] WantedBy=multi-user.target
3、设置开机自启,需要有root权限或者sudo权限
#重新加载启动系统启动文件 systemctl daemon-reload #设置开机自启 systemctl enable start_services.service #测试启动,注意需要将服务停止后测试 systemctl start start_services.service #检查状态 systemctl status start_services.service #启动日志可以查看/var/log/message系统日志文件
开机自启配置完成。