1. 需求背景

针对产品中使用的Clickhouse高速缓存库,用户在使用过程中完全是黑盒状态,无法感知当前Clickhouse数据库运行的状态,已经创建了多少张表,占用了多少空间等相关信息,一旦遇到问题更是不知该如何排查和调整。
基于以上痛点,提供额外的高速缓存库管理工具,通过扩展包方式集成到产品中,方便用户使用。

2.使用说明

2.1. 扩展包部署

 部署ClickHouseMaintenanceTool.ext,详细说明请参考Wiki链接:扩展包部署

注意:上传该扩展包时需进行系统升级。请勿在系统忙碌期间部署该扩展包。

上传扩展包之后,按提示进行系统升级即可。

2.2 报表入口

在“分析展现”界面,展开左侧资源目录区,选择 分析报表 > system > 分析报表 > ClickHouse高速缓存库运维工具 ,双击打开“高速缓存Smartbimpp工具包”,如图:

SmartbiMPP高速缓存库监控管理工具是使用产品内置的SmartbiMPP高速缓存库作为数据源,如果Smartbimpp是集群化部署,可以在连接字符串中配置不同的节点地址,查看每一个节点的运行信息。

3.报表介绍

SmartbiMPP高速缓存库监控管理工具是针对SmartbiMPP(clickhouse)高速缓存库运行状态、配置情况等相关信息查询和诊断的一组工具组合,方便项目上快速定位和排查SmartbiMPP相关的问题。


3.1、参数配置及含义说明

对SmartbiMPP高速缓存库监控管理工具中使用的参数的含义以及配置进行说明。

3.2、说明文档

3.2.1 安装后文件说明

SmartbiMPP(clickhouse)通过RPM(默认配置)方式安装之后会在对应操作系统各种不同文件夹产生相关的文件,这些文件作用各不相同,权限也并不统一,技术人员需要对这些文件的位置、作用和权限做深入的了解,才能更好的应对现场任何灵活可变的调整需求。

1_系统文件

SmartbiMPP(clickhouse)安装之后会在Linux系统层面注册和生成的文件位置及作用说明。

2_命令文件

Clickhouse安装之后会在/usr/bin目录下产生的系统二进制命令文件的作用及说明。


3_配置文件

Clickhouse安装之后会在/etc下创建的配置文件的作用及说明。

4_数据文件

Clickhouse安装之后会在/var/lib下创建的数据文件的作用及说明。


5_日志文件

Clickhouse安装之后会在/var/log下创建的日志文件的作用及说明。


6_运行文件

Clickhouse运行时产生的文件情况说明。


7_RPM安装普通用户运维

根据安全的要求需要使用非ROOT账号进行Clickhouse的运维,以下为操作方案。

3.2.2 配置说明

SmartbiMPP(clickhouse)需要针对性的做一些配置调整才能满足各种特定情况要求本文针对常见的配置参数按其分类进行罗列和展示,方便在调整参数时进行参考

1_服务器配置

Clickhouse对服务器配置的要求以及推荐的配置建议。


2_config.xml配置

config.xml文件的配置项及建议值说明。


3_user.xml配置

user.xml配置文件配置说明。


4_Smartbi配置

Smartbi中和Clickhouse相关的配置项及说明。


3.2.3 Smartbi相关说

在Smartbi产品中哪些功能模块依赖了高速缓存,在Smartbi哪些配置可以进行特殊化配置以及这些配置产生的影响,并针对用户数据量情况,机器数量情况进行配置建议。

1_依赖高速缓存库功能

对Smartbi中依赖高速缓存库的功能情况进行说明。


2_Smartbi配置

Smartbi中和SmartbiMPP相关的配置项及说明。


3_机器数量建议

SmartbiMPP部署时机器数量建议说明。


3.2.4 常见问题

SmartbiMPP(clickhouse)场景异常情况处理说明文档,整理了项目上常见的异常及处理办法。


3.3 工具包报表

3.3.1 基本信息查询
0_使用说明

对当前报表使用的一个介绍说明。

SmartbiMPP(clickhouse)基本信息查询,可以针对集群中任意节点查询相关信息
1_基本信息

查询当前SmartbiMPP(clickhouse)版本信息,数据库基本信息,宏变量信息和实例空间占用情况。

2_状态信息

查询当前SmartbiMPP(clickhouse)状态信息,受状态信息参数筛选控制。

3_集群信息

查看SmartbiMPP(clickhouse)实例集群配置情况。

4_数据表信息

查看SmartbiMPP(clickhouse)数据表相关信息,结果集受数据表选择参数筛选控制。

5_已变更参数

列出SmartbiMPP(clickhouse)中已经调整过的参数及相关说明。

6_参数信息检索

查看SmartbiMPP(clickhouse)配置参数信息,结果集受配置参数选择筛选控制。

3.3.2 表数据灵活查询

可以查询数据表中的数据,结果集受数据表选择参数筛选控制。

3.3.3 磁盘空间占用情况分析

当下当前选择数据库中各数据表的空间占用情况。

3.3.4 执行SQL语句查询

查询正在执行的SQL语句。

3.3.5 后台更新语句查询

查询正在进行的后台更新语句。

3.3.6 慢SQL查询

查询运行慢SQL情况,结果集受执行时间参数筛选控制。

3.3.7 复制表信息查询

查看复制表运行情况。

3.3.8 高频SQL查询

查询正在进行的后台更新语句,结果集受执行时间参数筛选控制。

3.3.9 内存消耗高SQL查询

查询内消耗高的SQL语句情况,结果集受执行时间参数筛选控制。