Smartbi MPP 高速缓存库,列式数据库管理系统,用于抽取数据。
1、安装包说明
普通用户权限部署smartbimpp的安装介质,请联系Smartbi官方获取
smartbi-mpp.xxx.tar.gz安装包与RPM包方式部署有所不同,区别如下:
类别 | tar.gz安装包 | RPM安装包 |
安装权限要求 | 普通用户 | root或sudo权限 |
部署目录路径 | 所有文件均在安装目录 | 系统中不同目录 |
启、停、重启 | 进入目录执行脚本 | 执行systemctl命令 |
安装、卸载操作 | 进入目录执行脚本 | 执行rpm命令 |
2、系统环境要求
组件 | 要求 |
操作系统 | 64位Linux操作系统 建议: ● Centos 7或以上 ● RedHat 7以上 |
CPU | 支持SSE 4.2指令集,建议8核或以上 |
内存 | 建议32G以上 |
硬盘 | 部署目录建议200G以上 |
注:查询CPU是否支持SSE 4.2指令集
grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
3、系统环境配置(需要管理员权限)
配置系统环境需要root或sudo权限。
3.1 取消打开文件数限制
在/etc/security/limits.conf 文件的末尾加入以下内容(注意: * 不能省略):
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
在/etc/sysctl.conf中,添加以下内容:
fs.inotify.max_user_watches=524288
fs.inotify.max_user_instances=8192
保存后,执行以下命令让设置生效
# sudo sysctl -p /etc/sysctl.conf
3.2 防火墙配置
1、取消SELINUX
#临时关闭selinux
# setenforce 0
#永久关闭Selinux,需要重启服务器生效
sed -i 's/=enforcing/=disabled/g' /etc/selinux/config
2、关闭防火墙
1)CentOS 7.X/Redhat 7.X
# systemctl stop firewalld
# systemctl disable firewalld
# systemctl status firewalld
3、开启防火墙
如果需要开启防火墙,则需要开放smartbi-mpp服务使用到的端口:
服务名 | 端口 | 说明 |
smartbi-mpp | 8123 | JDBC连接端口 |
开启端口参考如下:
# firewall-cmd --permanent --add-port=8123/tcp
# firewall-cmd --reload
4、部署smartbi-mpp
4.1 、准备安装smartbi-mpp
将smartbi-mpp-22.3.12.19.tar.gz安装包上传至服务器,并解压
注意
由于默认数据目录存放在安装包目录中,请确认目录空间充足,避免磁盘空间不足导致数据库异常
$ tar -zxvf smartbi-mpp-22.3.12.19-x86_64.tar.gz
解压后,目录结果如下:
目录说明:
install.sh:smartbi-mpp安装脚本
uninstall.sh:smartbi-mpp卸载脚本
packages:smartbi-mpp安装包文件
4.2、安装smartbi-mpp
1、进入smartbi-mpp-22.3.12.19目录,执行install.sh脚本
cd smartbi-mpp-22.3.12.19
./install.sh
如下图所示,表示安装完成,
安装过程中的信息,记录在smartbi-mpp-22.3.12.19/var/log/clickhouse-server/install.log文件中。
2、安装完成后,目录结构如下:
目录说明:
clickhouse-client、clickhouse-common-static、clickhouse-server:smartbi-mpp安装包程序
etc:smartbi-mpp配置文件存放目录
usr:smartbi-mpp执行文件存放目录
var:smartbi-mpp数据目录(var/lib/clickhouse)、运行状态(var/run)、日志文件(var/log)存放目录
clickhouse.sh:smartbi-mpp启动、停止、重启脚本
netstat:查看端口工具
5、运维操作
5.1、修改配置文件(可选)
配置文件存放路径:smartbi-mpp-22.3.12.19/etc/clickhouse-server/
配置文件说明:
- SmartbiMPP配置文件:/etc/clickhouse-server/config.xml
- SmartbiMPP用户配置文件:/etc/clickhouse-server/users.xml
5.1.1、config.xml配置文件
1、修改日志存放目录
修改日志目录时,需要给目录添加对应用户的权限,例如,test用户安装smartbi-mpp时,新的日志目录需要修改为test的权限,参考如下
chown -R test.test <新日志目录>
2、修改默认监听端口
8123:JDBC驱动的连接端口,一般不建议修改
9000:clickhouse-client的连接端口,一般不建议修改
3、修改数据目录
数据存储目录用来存储smartbimpp的数据文件,可以设置其他目录用于存储SMARTBIMPP的数据文件,默认数据数据目录:smartbi-mpp-22.3.12.19/var/lib/clickhouse/
例如,test用户安装smartbi-mpp时,新的数据目录需要修改为test的权限,参考如下
chown -R test.test <新数据目录>
修改以下配置
4、开启远程访问权限
默认监听本地地址,其他无法提供对外访问,可以开放远程访问
如果需要配置监听ipv4地址,则配置问<listen_host>0.0.0.0</listen_host>
如果需要配置监听ipv6地址,则配置问<listen_host>::</listen_host>
注意:ipv4地址和ipv6地址只能配置一个
5.12、users.xml配置文件
1、修改smartbi-mpp最大内存使用
单位是Byte,默认值是10G。根据实际可用内存进行配置
2、设置数据库密码
方法一:设置明文密码
方法二:设置加密密码
生成加密密码串
echo -n "manager" | sha256sum | tr -d '-'
#注意:manager替换成实际的密码
注意:明文密码和加密密码只能二选一
5.2、启动、停止、重启smartbi-mpp
进入部署目录,以下所有操作均在此目录进行
cd smartbi-mpp-22.3.12.19/
1、启动smartbi-mpp
sh sh clickhouse.sh start
查看进程
ps -ef | grep clickhouse
查看端口监听
./netstat -lntp | grep 8123
本地客户端登录数据库,示例如下,注意替换成实际的服务器地址
usr/bin/clickhouse-client -h 10.10.35.133
2、重启smartbi-mpp
sh clickhouse.sh restart
3、停止smartbi-mpp
sh clickhouse.sh stop
5.3、卸载smartbi-mpp
进入部署目录,以下所有操作均在此目录进行
cd smartbi-mpp-22.3.12.19/
执行卸载脚本
注意:默认卸载不删除数据目录,但避免出现异常,卸载前请备份数据目录:smartbi-mpp-22.3.12.19/var/lib/clickhouse/
sh uninstall.sh
执行卸载脚本时,会提示备份数据目录,需要手工进行备份,卸载脚本不会自动备份数据目录,并需要输入 yes 才会执行卸载操作
卸载完成后,默认数据目录和日志文件目录不会删除,如果需要删除,请手动操作。
5.4、调试方法
有时可能会出现smartbi-mpp启动失败,但是又没有日志的情况,可以使用如下命令启动smartbi-mpp,在前端获取启动日志分析问题
cd smartbi-mpp-22.3.12.19/
usr/bin/clickhouse-server --config-file /home/test/smartbi-mpp-22.3.12.19/etc/clickhouse-server/config.xml --pid-file /home/test/smartbi-mpp-22.3.12.19/var/run/clickhouse-server/clickhouse-server.pid