Linux系统一键安装包部署Smartbi

基于Linux环境部署Smartbi产品相对较为复杂，为了提高部署效率，可使用Linux一键部署安装包来简化部署流程。

文档包含Linux一键部署安装包说明、部署流程、署完成后访问测试、产品更新升级以及常见问题排除方法。

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

Linux一键部署安装包中包含以下Smartbi组件服务;

Linux一键部署安装包中包含以下文件：

Linux一键部署安装包中包含的软件依赖包：

版本说明

Linux一键部署安装包V11.0 支持单节点部署。

Linux一键部署安装包V11.0 适用于POC或者测试环境，生产环境建议手工部署。

运行环境

系统要求：

服务器最低配置要求：

1.安装部署

Liunx一键部署安装包安装流程参考下图

具体部署方法参考以下文档：

1、上传安装包到服务器，并解压

tar -zxvf Smartbi_CentOS_x86_CN_xxx.tar.gz          #注意替换成实际的安装包名称

2、进入安装包解压目录，开始安装产品

①脚本添加执行权限

chmod +x *.sh

②执行install.sh脚本安装产品(注意本文档基于centos7操作系统部署并截图)

./install.sh                #执行安装

脚本会检测系统内核版本和CPU架构，如果不符合要求则会自动退出脚本执行；

如果选择安装跨库联合查询，脚本会检测/etc/hosts文件，是否包含 “127.0.0.1 服务器主机名” 的解析，如果不包含，则添加，包含则跳过(跨库联合查询和数据挖掘引擎会读取此配置)。

选择需要安装的组件：

根据实际需要选择是否安装，注意：直接回车 表示安装。

选择安装组件后，会打印出已选择安装的组件列表，确认则输入 y 。重新选择安装组件则输入 n并且脚本会退出执行，重新执行install.sh安装脚本，并选择需要安装的组件。

确认安装组件选择后，脚本会开始自动安装服务，安装成功如下：

服务安装完成后，脚本会检测服务器防火墙状态，如果防火墙开启，则会提示是否通过脚本开放服务使用的相关端口，输入 y 表示使用脚本开放相关端口

输入 n 表示不使用脚本开放相关端口，脚本会给出提示，如下图：

如果服务器防火墙为关闭状态，则脚本会跳过防火墙配置部分，如下图：

如果脚本无法获取服务器防火墙状态，则会跳过防火墙配置提示，并且给出提示，如下图：

如果防火墙状态开启，未通过脚本开放防火墙，则需要安装完成后手工开启服务使用的端口号。

防火墙部分设置完成后，会打印出已安装服务的版本信息，以及Smartbi访问地址和Smartbi初始账号密码：

服务安装完成。

如果在安装过程中报错，在处理完错误后，重新安装时需要执行以下操作：

./uninstall.sh                  #删除已安装的程序或文件
./install.sh                  #重新开始安装

2.启动产品

2.1启动脚本

执行install.sh完成产品安装后，可以通过执行startup.sh脚本启动所有已安装的服务。

执行startup.sh脚本之前，需要执行以下命令生成相关环境变量。

cd <安装目录>
source smartbi_env

如果未执行source smartbi_env ，直接运行启动脚本，则会提示需要执行该命令，如下图：

Source环境变量文件后，执行脚本启动已安装的服务:

./startup.sh                          #启动所有安装的服务

启动成功，如下图所示：

启动成功后，即可通过浏览器访问Smartbi，http://IP:18080/smartbi

首次安装启动Smartbi，通过浏览器访问时，会跳转到Smartbi Config页面，并提示设置该页面访问密码，如下图：

设置Smartbi Config页面访问密码之后，点击确定，页面会提示需要配置License文件，如下图：

点击配置license，跳转到配置页面；

点击选择，选择License，点击上传，上传成功后，点击测试知识库连接，提示连接成后，点击保存。

Smartbi config页面配置完成，需要重启Smartbi，使配置生效，重启方法请参考 后续文档。

2.2手动启动

手工启动服务的方法如下：

注意：启动服务前需要执行 source smartbi_env 生成相关的环境变量。

cd <安装目录>
source smartbi_env
./startup.sh                          #启动所有安装的服务

①启动Mysql数据库

cd <安装目录>/Mysql/
./mysqld start

②启动Tomcat

cd <安装目录>/Tomcat/bin/
./startup.sh

③启动Smartbi OLAP Server

cd <安装目录>/SmartbiOLAP
nohup ./starup.sh &

④启动Smartbi MPP

Centos6操作系统：

service clickhouse-server start

Centos7操作系统：

systemctl start clickhouse-server

⑤启动数据挖掘引擎

cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh start                #启动执行引擎
./service-daemon.sh start            #启动服务引擎

⑥启动跨库联合查询

cd <安装目录>/SmartbiUnionserver/
nohup sh run.sh > /dev/null 2>&1 &

3.重启产品

3.1重启脚本

Linux一键安装包中的重启脚本restart.sh，可以重启所有已安装的服务。

重启所有安装的服务，可执行以下操作：

cd <安装目录>
source smartbi_env
./restart.sh                        #重启所有安装的服务

执行脚本时需要输入 y 确认重启所有已部署的服务，输入 n 则不重启并且脚本退出执行：

3.2手动重启

手工重启服务的方法如下：

注意：重启服务前需要执行 source smartbi_env 生成相关的环境变量。

cd <安装目录>
source smartbi_env

①重启Mysql数据库

cd <安装目录>/Mysql/
./mysqld restart

②重启Tomcat

cd <安装目录>/Tomcat/bin/
ps -ef | grep "Tomcat" | grep "Jdk"           #找到Tomcat进程ID
kill  -9  Tomcat进程ID              #结束Tomcat进程
./startup.sh                    #启动Tomcat

③重启Smartbi OLAP Server

cd <安装目录>/SmartbiOLAP
ps -ef | grep "SmartbiOLAP" | grep "Jdk"           #找到OLAP进程ID
kill  -9  进程ID                         #结束OLAP进程
nohup ./starup.sh &                    #启动OLAP

④重启Smartbi MPP

Centos6操作系统：

service clickhouse-server restart

Centos7操作系统：

systemctl restart clickhouse-server

⑤重启数据挖掘引擎

cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh restart              #重启执行引擎
./service-daemon.sh restart           #重启服务引擎

⑥重启跨库联合查询

cd <安装目录>/SmartbiUnionserver/
ps -ef | grep "SmartbiUnionserver" | grep "Jdk"            #找到跨库联合查询进程ID
kill  -9  跨库联合查询进程ID                 #结束跨库联合查询进程
nohup sh run.sh > /dev/null 2>&1 &               #启动跨库联合查询

4.停止产品

4.1停止脚本

Linux一键部署安装包中的stop.sh脚本，可以停止所有已安装的服务。

停止所有已安装的服务，可以执行以下操作：

cd <安装目录>
./stop.sh                        #停止所有安装的服务

执行脚本时需要输入 y 确认停止所有已部署的服务，输入 n 则不停止并且脚本退出执行：

4.2手动停止

手工停止服务的方法如下：

cd <安装目录>
source smartbi_env

①停止Mysql数据库

cd <安装目录>/Mysql/
./mysqld stop

②停止Tomcat

ps -ef | grep "Tomcat" | grep "Jdk"          #找到Tomcat进程ID
kill  -9  Tomcat进程ID             #结束Tomcat进程

③停止Smartbi OLAP Server

ps -ef | grep "SmartbiOLAP" | grep "Jdk"          #找到SmartbiOLAP进程ID
kill  -9  进程ID    

④停止Smartbi MPP

Centos6操作系统：

service clickhouse-server stop

Centos7操作系统：

systemctl stop clickhouse-server

⑤停止数据挖掘引擎

cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh stop              #停止执行引擎
./service-daemon.sh stop              #停止服务引擎

⑥停止跨库联合查询

cd <安装目录>/SmartbiUnionserver/
ps -ef | grep "SmartbiUnionserver" | grep "Jdk"            #找到跨库联合查询进程ID
kill  -9  跨库联合查询进程ID                 #结束跨库联合查询进程

5、部署后验证

参考本章节测试部署的服务是否能正常使用。

Linux一键部署安装包安装完成后，可以通过浏览器访问登录smartbi (http://IP:18080/smartbi)。

首次登录默认账号：admin 密码：manager

登录后会跳转到修改密码页面，输入新的密码，提交后，即可正常进入smartbi。

5.1测试高速缓存库

测试高速缓存库连接

打开数据连接--高速缓存库，点击测试连接，提示连接成功，即表示高速缓存库连接正常。

5.2测试跨库联合查询

测试跨库联合查询

打开数据连接--跨库联合数据源，点击测试连接，提示连接成功，即表示跨库联合查询连接正常。

5.3测试数据挖掘引擎

测试数据挖掘引擎

打开运维设置--数据挖掘配置--引擎设置，点击测试引擎地址，都提示平台到引擎双向成功

点击测试服务地址，都提示平台到服务双向成功

点击执行引擎，检查相关配置，如下图：

检查smarbi连接地址和端口(注意 localhost:18080 为正常连接地址)

点击服务引擎，检查相关配置，如下图：

检查smarbi连接地址和端口(注意 localhost:18080 为正常连接地址)

检查并设置完成后即可运行数据挖掘实验和服务。

6.产品升级

6.1升级Smartbi版本

①停止Tomcat进程

ps -ef | grep "Tomcat" | grep "Jdk"          #找到Tomcat进程ID
kill  -9  Tomcat进程ID             #结束Tomcat进程

②删除旧的smartbi war包

cd <安装目录>/Tomcat/webapps/
#删除前可以将war包备份到其他目录中。
rm -rf smartbi* 

 ③上传新的smartbi war包到<安装目录>/Tomcat/webapps/目录下

可以使用wincp或者其他工具，将smartbi war包到<安装目录>/Tomcat/webapps/目录下。

上传完成后，重新启动Tomcat服务：

cd <安装目录>
source smartbi_env
cd <安装目录>/Tomcat/bin/
./startup.sh

启动完成后，可通过浏览器访问smartbi，进入升级页面，升级完成即可正常访问smartbi。

6.2升级数据挖掘引擎

Smartbi war包版本升级后，需要同步升级数据挖掘版本。

①停止数据挖掘引擎

cd <安装目录>
source smartbi_env
cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh stop               #停止执行引擎
./service-daemon.sh stop            #停止服务引擎

②删除旧的engine/目录，删除前请备份

cd <安装目录>/SmartbiEngine
rm -rf engine/

③解压新的数据挖掘安装包，并上传engine/目录

tar -zxvf  SmartbiMiningEngine_xxxx.tar.gz              #注意提换成实际的安装包名称

可以使用wincp或者其他工具，将新的engine/目录上传到<安装目录>/SmartbiEngine目录下。

上传完成后，重新启动数据挖掘引擎：

cd <安装目录>
source smartbi_env
cd <安装目录>/SmartbiEngine/engine/sbin/
./experiment-daemon.sh start                #启动执行引擎
./service-daemon.sh start            #启动服务引擎

启动完成后，登陆smartbi，测试数据挖掘是否升级成功。

6.3升级Smartbi OLAP Server

Smartbi OLAP Server更新，一般只需要更新SmartbiOLAPServer.jar文件。

①停止Smartbi OLAP Server

cd <安装目录>/SmartbiOLAP
ps -ef | grep "SmartbiOLAP" | grep "Jdk"          #找到SmartbiOLAP进程ID
kill  -9  进程ID   

②备份旧SmartbiOLAPServer.jar文件

cd <安装目录>/SmartbiOLAP
mv SmartbiOLAPServer.jar SmartbiOLAPServer.jar_bk

③上传新的SmartbiOLAPServer.jar文件到<安装目录>/SmartbiOLAP 目录下，重启启动服务

cd <安装目录>/SmartbiOLAP
nohup ./starup.sh  &                  #启动OLAP

7.日志管理

在产品运行过程中如果遇到问题，可以通过查看日志信息快速的定位到问题产生的原因，下面介绍各个组件服务日志的存放路径信息：

8.产品卸载

Linux一键部署安装包中的uninstall.sh脚本，可以卸载所有已安装的服务。

注意：执行卸载脚本前，如果有重要数据(如Mysql数据库数据，MPP抽取的数据等等)，请提前将其备份到服务器的其他目录中，避免由于卸载删除后数据丢失。

uninstall.sh脚本执行后会卸载并删除部署服务时所生成的目录。

安装所有服务的目录结构如下：

执行卸载脚本uninstall.sh后的目录结构如下图

如果需要卸载所有已安装的服务，可以执行以下操作：

./uninstall.sh                        #卸载所有安装的服务

执行脚本时需要输入 y 确认卸载所有已部署的服务，输入 n 则不卸载并且脚本退出执行：

卸载服务后，可以重新执行 install.sh安装服务

9.常见问题与解答

9.1 JVM内存大小修改

Linux一键部署安装包中，默认JVM最小内存、最大内存值均为4096M，如果需要修改此参数可以参考以下步骤：

cd <安装目录>
vi smartbi_env 

#找到文件末尾行，修改-Xms和-Xmx的值即可，注意，文件中其他配置请勿修改，避免服务运行出错

export JAVA_OPTS=$JAVA_OPTS" -Xms4096m -Xmx4096m"

修改完成后，保存，执行以下命令，使修改生效：

cd <安装目录>
source smartbi_env
#重启Tomcat
cd <安装目录>/Tomcat/bin/
ps -ef | grep "Tomcat" | grep "Jdk"          #找到Tomcat进程ID
kill  -9  Tomcat进程ID             #结束Tomcat进程
./startup.sh                   #启动Tomcat

9.2 服务器登陆访问Mysql和修改默认密码

1、服务器登录Mysql的方法如下：

cd <安装目录>/Mysql
bin/mysql -u admin -p -P 6688 -S mysql.sock      

注意：Mysql默认账号密码admin/admin

2、修改Mysql admin用户密码

cd <安装目录>/Mysql
bin/mysql -u admin -p -P 6688 -S mysql.sock      
#以下命令登陆mysql之后操作
update mysql.user set authentication_string=password('NewPassword')where user = 'admin';
flush privileges;

9.3 SmartbiMPP修改默认数据存放路径

SmartbiMPP默认数据存放路径：/var/lib/clickhouse/

可以通过修改配置文件重新设置数据存放目录：

vi /etc/clickhouse-server/config.xml

修改以下配置（具体路径可自定义）：

<path>/var/lib/clickhouse/</path>

<tmp_path>/var/lib/clickhouse/tmp/</tmp_path>

<user_files_path>/var/lib/clickhouse/user_files/</user_files_path>

修改完成后保存，并重启SmartbiMPP，使配置生效Centos6操作系统：

service clickhouse-server restart

Centos7操作系统：

systemctl restart clickhouse-server

9.4 启动服务失败

问题：使用Linux一键部署安装安装完成后，启动时，部分服务提示启动失败。

问题原因：Linux一键部署安装包是通过检测服务的监听端口是否正常启动来判断服务是否正常启动。如果服务启动失败，一般是限定时间内（5-10秒左右），服务监听端口还没启动，导致检测失败。

解决方案：建议不要修改服务默认监听端口，提高服务器的配置，提高服务启动效率。