页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

目录

1. 需求背景

针对产品中使用的Clickhouse高速缓存库,用户在使用过程中完全是黑盒状态,无法感知当前Clickhouse数据库运行的状态,已经创建了多少张表,占用了多少空间等相关信息,一旦遇到问题更是不知该如何排查和调整。针对产品中使用的SmartbiMPP高速缓存库,用户在使用过程中完全是黑盒状态,无法感知当前SmartbiMPP高速缓存库运行的状态,已经创建了多少张表,占用了多少空间等相关信息,一旦遇到问题更是不知该如何排查和调整。
基于以上痛点,提供额外的高速缓存库管理工具,通过扩展包方式集成到产品中,方便用户使用。

2.使用说明

2.1.

...

 部署ClickHouseMaintenanceTool.ext,详细说明请参考Wiki链接:扩展包部署

...

 扩展包部署

扩展包:ClickHouseMaintenanceTool

详细说明请参考Wiki链接:扩展包部署

注意

注意:上传该扩展包时需进行系统升级。请勿在系统忙碌期间部署该扩展包。

上传扩展包之后,按提示进行系统升级即可。

Image Added

Image Added

Image Added

Image Added

2.2 报表入口

在“分析展现”界面,展开左侧资源目录区,选择 分析报表 > system > 分析报表 > ClickHouse高速缓存库运维工具 ,双击打开“高速缓存Smartbimpp工具包”,如图:

Image Added

注意

SmartbiMPP高速缓存库监控管理工具是使用产品内置的SmartbiMPP高速缓存库作为数据源,如果Smartbimpp是集群化部署,可以在连接字符串中配置不同的节点地址,查看每一个节点的运行信息。

3.报表介绍

SmartbiMPP高速缓存库监控管理工具是针对SmartbiMPP(clickhouse)高速缓存库运行状态、配置情况等相关信息查询和诊断的一组工具组合,方便项目上快速定位和排查SmartbiMPP相关的问题。

Image Added
3.1、参数配置及含义说明

对SmartbiMPP高速缓存库监控管理工具中使用的参数的含义以及配置进行说明。

Image Added

3.2、说明文档

Image Added

3.2.1 安装后文件说明

SmartbiMPP(clickhouse)通过RPM(默认配置)方式安装之后会在对应操作系统各种不同文件夹产生相关的文件,这些文件作用各不相同,权限也并不统一,技术人员需要对这些文件的位置、作用和权限做深入的了解,才能更好的应对现场任何灵活可变的调整需求。

1_系统文件

SmartbiMPP(clickhouse)安装之后会在Linux系统层面注册和生成的文件位置及作用说明。

Image Added

2_命令文件

Clickhouse安装之后会在/usr/bin目录下产生的系统二进制命令文件的作用及说明。

Image Added
3_配置文件

Clickhouse安装之后会在/etc下创建的配置文件的作用及说明。

Image Added

4_数据文件

Clickhouse安装之后会在/var/lib下创建的数据文件的作用及说明。

Image Added
5_日志文件

Clickhouse安装之后会在/var/log下创建的日志文件的作用及说明。

Image Added
6_运行文件

Clickhouse运行时产生的文件情况说明。

Image Added
7_RPM安装普通用户运维

根据安全的要求需要使用非ROOT账号进行Clickhouse的运维,以下为操作方案。

Image Added

3.2.2 配置说明

SmartbiMPP(clickhouse)需要针对性的做一些配置调整才能满足各种特定情况要求本文针对常见的配置参数按其分类进行罗列和展示,方便在调整参数时进行参考

1_服务器配置

Clickhouse对服务器配置的要求以及推荐的配置建议。

Image Added
2_config.xml配置

config.xml文件的配置项及建议值说明。

Image Added
3_user.xml配置

user.xml配置文件配置说明。

Image Added
4_Smartbi配置

Smartbi中和Clickhouse相关的配置项及说明。

Image Added
3.2.3 Smartbi相关说

在Smartbi产品中哪些功能模块依赖了高速缓存,在Smartbi哪些配置可以进行特殊化配置以及这些配置产生的影响,并针对用户数据量情况,机器数量情况进行配置建议。

1_依赖高速缓存库功能

对Smartbi中依赖高速缓存库的功能情况进行说明。

Image Added
2_Smartbi配置

Smartbi中和SmartbiMPP相关的配置项及说明。

Image Added
3_机器数量建议

SmartbiMPP部署时机器数量建议说明。

Image Added
3.2.4 常见问题

SmartbiMPP(clickhouse)场景异常情况处理说明文档,整理了项目上常见的异常及处理办法。

Image Added
3.3 工具包报表

3.3.1 基本信息查询
0_使用说明

对当前报表使用的一个介绍说明。

SmartbiMPP(clickhouse)基本信息查询,可以针对集群中任意节点查询相关信息
1_基本信息

查询当前SmartbiMPP(clickhouse)版本信息,数据库基本信息,宏变量信息和实例空间占用情况。

Image Added

2_状态信息

查询当前SmartbiMPP(clickhouse)状态信息,受状态信息参数筛选控制。

Image Added

3_集群信息

查看SmartbiMPP(clickhouse)实例集群配置情况。

Image Added

4_数据表信息

查看SmartbiMPP(clickhouse)数据表相关信息,结果集受数据表选择参数筛选控制。

Image Added

5_已变更参数

列出SmartbiMPP(clickhouse)中已经调整过的参数及相关说明。

Image Added

6_参数信息检索

查看SmartbiMPP(clickhouse)配置参数信息,结果集受配置参数选择筛选控制。

Image Added

3.3.2 表数据灵活查询

可以查询数据表中的数据,结果集受数据表选择参数筛选控制。

Image Added

3.3.3 磁盘空间占用情况分析

当下当前选择数据库中各数据表的空间占用情况。

Image Added

3.3.4 执行SQL语句查询

查询正在执行的SQL语句。

Image Added

3.3.5 后台更新语句查询

查询正在进行的后台更新语句。

Image Added

3.3.6 慢SQL查询

查询运行慢SQL情况,结果集受执行时间参数筛选控制。

Image Added

3.3.7 复制表信息查询

查看复制表运行情况。

Image Added

3.3.8 高频SQL查询

查询正在进行的后台更新语句,结果集受执行时间参数筛选控制。

Image Added

3.3.9 内存消耗高SQL查询

查询内消耗高的SQL语句情况,结果集受执行时间参数筛选控制。

Image Added


目录

1. 需求背景

针对产品中使用的SmartbiMPP高速缓存库,用户在使用过程中完全是黑盒状态,无法感知当前SmartbiMPP高速缓存库运行的状态,已经创建了多少张表,占用了多少空间等相关信息,一旦遇到问题更是不知该如何排查和调整。
基于以上痛点,提供额外的高速缓存库管理工具,通过扩展包方式集成到产品中,方便用户使用。

2.使用说明

2.1. 扩展包部署

扩展包:ClickHouseMaintenanceTool.ext

详细说明请参考Wiki链接:扩展包部署

注意

注意:上传该扩展包时需进行系统升级。请勿在系统忙碌期间部署该扩展包。

上传扩展包之后,按提示进行系统升级即可。

Image Added

Image Added

Image Added

Image Added

2.2 报表入口

在“分析展现”界面,展开左侧资源目录区,选择 分析报表 > system > 分析报表 > ClickHouse高速缓存库运维工具 ,双击打开“高速缓存Smartbimpp工具包”,如图:

Image Added

注意

SmartbiMPP高速缓存库监控管理工具是使用产品内置的SmartbiMPP高速缓存库作为数据源,如果Smartbimpp是集群化部署,可以在连接字符串中配置不同的节点地址,查看每一个节点的运行信息。

3.报表介绍

SmartbiMPP高速缓存库监控管理工具是针对SmartbiMPP(clickhouse)高速缓存库运行状态、配置情况等相关信息查询和诊断的一组工具组合,方便项目上快速定位和排查SmartbiMPP相关的问题。

Image Added
3.1、参数配置及含义说明

对SmartbiMPP高速缓存库监控管理工具中使用的参数的含义以及配置进行说明。

Image Added

3.2、说明文档

Image Added

3.2.1 安装后文件说明

SmartbiMPP(clickhouse)通过RPM(默认配置)方式安装之后会在对应操作系统各种不同文件夹产生相关的文件,这些文件作用各不相同,权限也并不统一,技术人员需要对这些文件的位置、作用和权限做深入的了解,才能更好的应对现场任何灵活可变的调整需求。

1_系统文件

SmartbiMPP(clickhouse)安装之后会在Linux系统层面注册和生成的文件位置及作用说明。

Image Added

2_命令文件

Clickhouse安装之后会在/usr/bin目录下产生的系统二进制命令文件的作用及说明。

Image Added
3_配置文件

Clickhouse安装之后会在/etc下创建的配置文件的作用及说明。

Image Added

4_数据文件

Clickhouse安装之后会在/var/lib下创建的数据文件的作用及说明。

Image Added
5_日志文件

Clickhouse安装之后会在/var/log下创建的日志文件的作用及说明。

Image Added
6_运行文件

Clickhouse运行时产生的文件情况说明。

Image Added
7_RPM安装普通用户运维

根据安全的要求需要使用非ROOT账号进行Clickhouse的运维,以下为操作方案。

Image Added

3.2.2 配置说明

SmartbiMPP(clickhouse)需要针对性的做一些配置调整才能满足各种特定情况要求本文针对常见的配置参数按其分类进行罗列和展示,方便在调整参数时进行参考

1_服务器配置

Clickhouse对服务器配置的要求以及推荐的配置建议。

Image Added
2_config.xml配置

config.xml文件的配置项及建议值说明。

Image Added
3_user.xml配置

user.xml配置文件配置说明。

Image Added
4_Smartbi配置

Smartbi中和Clickhouse相关的配置项及说明。

Image Added
3.2.3 Smartbi相关说

在Smartbi产品中哪些功能模块依赖了高速缓存,在Smartbi哪些配置可以进行特殊化配置以及这些配置产生的影响,并针对用户数据量情况,机器数量情况进行配置建议。

1_依赖高速缓存库功能

对Smartbi中依赖高速缓存库的功能情况进行说明。

Image Added
2_Smartbi配置

Smartbi中和SmartbiMPP相关的配置项及说明。

Image Added
3_机器数量建议

SmartbiMPP部署时机器数量建议说明。

Image Added
3.2.4 常见问题

SmartbiMPP(clickhouse)场景异常情况处理说明文档,整理了项目上常见的异常及处理办法。

Image Added
3.3 工具包报表

3.3.1 基本信息查询
0_使用说明

对当前报表使用的一个介绍说明。

SmartbiMPP(clickhouse)基本信息查询,可以针对集群中任意节点查询相关信息
1_基本信息

查询当前SmartbiMPP(clickhouse)版本信息,数据库基本信息,宏变量信息和实例空间占用情况。

Image Added

2_状态信息

查询当前SmartbiMPP(clickhouse)状态信息,受状态信息参数筛选控制。

Image Added

3_集群信息

查看SmartbiMPP(clickhouse)实例集群配置情况。

Image Added

4_数据表信息

查看SmartbiMPP(clickhouse)数据表相关信息,结果集受数据表选择参数筛选控制。

Image Added

5_已变更参数

列出SmartbiMPP(clickhouse)中已经调整过的参数及相关说明。

Image Added

6_参数信息检索

查看SmartbiMPP(clickhouse)配置参数信息,结果集受配置参数选择筛选控制。

Image Added

3.3.2 表数据灵活查询

可以查询数据表中的数据,结果集受数据表选择参数筛选控制。

Image Added

3.3.3 磁盘空间占用情况分析

当下当前选择数据库中各数据表的空间占用情况。

Image Added

3.3.4 执行SQL语句查询

查询正在执行的SQL语句。

Image Added

3.3.5 后台更新语句查询

查询正在进行的后台更新语句。

Image Added

3.3.6 慢SQL查询

查询运行慢SQL情况,结果集受执行时间参数筛选控制。

Image Added

3.3.7 复制表信息查询

查看复制表运行情况。

Image Added

3.3.8 高频SQL查询

查询正在进行的后台更新语句,结果集受执行时间参数筛选控制。

Image Added

3.3.9 内存消耗高SQL查询

查询内消耗高的SQL语句情况,结果集受执行时间参数筛选控制。

Image Added


目录

1. 需求背景

针对产品中使用的SmartbiMPP高速缓存库,用户在使用过程中完全是黑盒状态,无法感知当前SmartbiMPP高速缓存库运行的状态,已经创建了多少张表,占用了多少空间等相关信息,一旦遇到问题更是不知该如何排查和调整。
基于以上痛点,提供额外的高速缓存库管理工具,通过扩展包方式集成到产品中,方便用户使用。

2.使用说明

2.1. 扩展包部署

扩展包:ClickHouseMaintenanceTool.ext

详细说明请参考Wiki链接:扩展包部署

注意

注意:上传该扩展包时需进行系统升级。请勿在系统忙碌期间部署该扩展包。

上传扩展包之后,按提示进行系统升级即可。

Image Modified

Image Modified

Image Modified

2.2 报表入口

在“分析展现”界面,展开左侧资源目录区,选择 分析报表 > system > 分析报表 > ClickHouse高速缓存库运维工具 ,双击打开“高速缓存Smartbimpp工具包”,如图:

Image Modified

注意

SmartbiMPP高速缓存库监控管理工具是使用产品内置的SmartbiMPP高速缓存库作为数据源,如果Smartbimpp是集群化部署,可以在连接字符串中配置不同的节点地址,查看每一个节点的运行信息。

3.报表介绍

SmartbiMPP高速缓存库监控管理工具是针对SmartbiMPP(clickhouse)高速缓存库运行状态、配置情况等相关信息查询和诊断的一组工具组合,方便项目上快速定位和排查SmartbiMPP相关的问题。

Image Modified
3.1、参数配置及含义说明

对SmartbiMPP高速缓存库监控管理工具中使用的参数的含义以及配置进行说明。

Image Modified

3.2、说明文档

Image Modified

3.2.1 安装后文件说明

SmartbiMPP(clickhouse)通过RPM(默认配置)方式安装之后会在对应操作系统各种不同文件夹产生相关的文件,这些文件作用各不相同,权限也并不统一,技术人员需要对这些文件的位置、作用和权限做深入的了解,才能更好的应对现场任何灵活可变的调整需求。

1_系统文件

SmartbiMPP(clickhouse)安装之后会在Linux系统层面注册和生成的文件位置及作用说明。

Image Modified

2_命令文件

Clickhouse安装之后会在/usr/bin目录下产生的系统二进制命令文件的作用及说明。

Image Modified
3_配置文件

Clickhouse安装之后会在/etc下创建的配置文件的作用及说明。

Image Modified

4_数据文件

Clickhouse安装之后会在/var/lib下创建的数据文件的作用及说明。

Image Modified
5_日志文件

Clickhouse安装之后会在/var/log下创建的日志文件的作用及说明。

Image Modified
6_运行文件

Clickhouse运行时产生的文件情况说明。

Image Modified
7_RPM安装普通用户运维

根据安全的要求需要使用非ROOT账号进行Clickhouse的运维,以下为操作方案。

Image Modified

3.2.2 配置说明

SmartbiMPP(clickhouse)需要针对性的做一些配置调整才能满足各种特定情况要求本文针对常见的配置参数按其分类进行罗列和展示,方便在调整参数时进行参考

1_服务器配置

Clickhouse对服务器配置的要求以及推荐的配置建议。

Image Modified
2_config.xml配置

config.xml文件的配置项及建议值说明。

Image Modified
3_user.xml配置

user.xml配置文件配置说明。

Image Modified
4_Smartbi配置

Smartbi中和Clickhouse相关的配置项及说明。

Image Modified
3.2.3 Smartbi相关说

在Smartbi产品中哪些功能模块依赖了高速缓存,在Smartbi哪些配置可以进行特殊化配置以及这些配置产生的影响,并针对用户数据量情况,机器数量情况进行配置建议。

1_依赖高速缓存库功能

对Smartbi中依赖高速缓存库的功能情况进行说明。

Image Modified
2_Smartbi配置

Smartbi中和SmartbiMPP相关的配置项及说明。

Image Modified
3_机器数量建议

SmartbiMPP部署时机器数量建议说明。

Image Modified
3.2.4 常见问题

SmartbiMPP(clickhouse)场景异常情况处理说明文档,整理了项目上常见的异常及处理办法。

Image Modified
3.3 工具包报表

3.3.1 基本信息查询
0_使用说明

对当前报表使用的一个介绍说明。

SmartbiMPP(clickhouse)基本信息查询,可以针对集群中任意节点查询相关信息
1_基本信息

查询当前SmartbiMPP(clickhouse)版本信息,数据库基本信息,宏变量信息和实例空间占用情况。

Image Modified

2_状态信息

查询当前SmartbiMPP(clickhouse)状态信息,受状态信息参数筛选控制。

Image Modified

3_集群信息

查看SmartbiMPP(clickhouse)实例集群配置情况。

Image Modified

4_数据表信息

查看SmartbiMPP(clickhouse)数据表相关信息,结果集受数据表选择参数筛选控制。

Image Modified

5_已变更参数

列出SmartbiMPP(clickhouse)中已经调整过的参数及相关说明。

Image Modified

6_参数信息检索

查看SmartbiMPP(clickhouse)配置参数信息,结果集受配置参数选择筛选控制。

Image Modified

3.3.2 表数据灵活查询

可以查询数据表中的数据,结果集受数据表选择参数筛选控制。

Image Modified

3.3.3 磁盘空间占用情况分析

当下当前选择数据库中各数据表的空间占用情况。

Image Modified

3.3.4 执行SQL语句查询

查询正在执行的SQL语句。

Image Modified

3.3.5 后台更新语句查询

查询正在进行的后台更新语句。

Image Modified

3.3.6 慢SQL查询

查询运行慢SQL情况,结果集受执行时间参数筛选控制。

Image Modified

3.3.7 复制表信息查询

查看复制表运行情况。

Image Modified

3.3.8 高频SQL查询

查询正在进行的后台更新语句,结果集受执行时间参数筛选控制。

Image Modified

3.3.9 内存消耗高SQL查询

查询内消耗高的SQL语句情况,结果集受执行时间参数筛选控制。

Image Modified