第1页,共253页。 显示 2,526 条结果 (0.05 秒)
高速缓存库
是Smartbi 提供的对数据查询进行缓存和提速的功能。 高速缓存库的作用是解决用户原始数据库查询慢并且不好解决的场景,可以通过定时抽取把数据缓存到缓存库,提升报表的查询性能。 支持范围 高速缓存库支持下面几种数据库: GaussDB(DWS) Presto+Hive (信创版支持) ,广州思迈特软件有限公司研发的高速缓存库 ,广州思迈特软件有限公司研发的高速缓存库 StarRocks TiDB OceanBase(mySQL)(信创版支持) OeacleBase(MySQL)作为高速缓存库时, 需要oceanbase版本在v4.2.2以上,才支持LOAD DATA LOCAL高速缓存库支持连接指定schema
1 概述 企业部署了多套BI系统,且系统间知识库相互独立。在旧版本中需要部署多个高速缓存库对应不同BI系统,增加运维成本。在新版本中,高速缓存库连接可直接在连接字符串中指定Schema,极大减少了独立部署缓存库的工作,方便运维管理。 目前支持的功能:在连接MPP时,默认是读连接字符串后面的schema。 2、旧系统升级到V11或者V11升级更换新包的处理方案: 默认缓存库还是原来连接的高速缓存库。 所有的数据模型,在升级时会处理成默认的缓存库。 如果在连接高速缓存库时,不指定schema,还是走原来的逻辑,不会出现升级到V11报错的情况。 3、连接缓存库时,支持指定schema连接的缓存库高速缓存库开启SSL
本文讲述如何在单节点的smartbimpp服务器上,开启SSL。 生成证书 高速缓存库,开启ssl配置,需要生成3个证书,分别是根证书(ca证书),服务端证书(高速缓存库服务端配置使用),客户端证书(clickhouse-client客户端配置使用)。 生成ca证书 服务端生成 CA 私钥,生成 ca.key … =client1.smartbi.com.cn" -keyout client1.key -out client1.csr openssl x509 -req -in client1.csr -out client1.crt -CA ca.crt -CAkey ca.key -days 3650 配置高速缓存库 复制证书SmartbiMPP高速缓存库监控管理工具
1. 需求背景 针对产品中使用的SmartbiMPP高速缓存库,用户在使用过程中完全是黑盒状态,无法感知当前SmartbiMPP高速缓存库运行的状态,已经创建了多少张表,占用了多少空间等相关信息,一旦遇到问题更是不知该如何排查和调整。 基于以上痛点,提供额外的高速缓存库管理工具,通过扩展包方式集成到产品中,方便用户 … 报表入口 在“分析展现”界面,展开左侧资源目录区,选择 分析报表 > system > 分析报表 > ClickHouse高速缓存库运维工具 ,双击打开“高速缓存Smartbimpp工具包”,如图: image2024-5-28_15-11-44.png SmartbiMPP高速缓存库监控管理工具是使用产品内置高速缓存库日志配置操作
(本文档仅供参考) 概述 高速缓存库(smartbimpp)有两种日志。 1、本地文件日志信息,主要记录了数据库的启动及使用过程中的日志信息,此日志信息默认保存在/var/log/clickhouse-server/ 目录中,默认单个文件最大1000M,最多保留10份日志记录。 2、system库里记录的其他 … /clickhouse-server/config.xml 指定日志文件保留期限。 query_log query_log表是记录了smartbimpp高速缓存库中所有执行sql的记录信息。 配置定期清理query_log表 先找到<query_log> 标签,然后在里面增加 <ttl>event_date + INTERVAL高速缓存库的数据如何做迁移
(此文档仅供参考) 问题 在一个smartbi环境上有把数据抽取到高速缓存库,当把知识库恢复到另外一个新环境时,发现有抽取的报表打开报错。这个是因为新环境的高速缓存上没有原环境高速缓存库的数据,需要做一下数据迁移。 解决方案 1)linux的smartbimpp迁移步骤: 1.先删除掉新环境 … smartbi-unionserver 如需对高速缓存库升级,请参考SmartbiMPP高速缓存库版本升级_RPM包。 mpp迁移 跨库迁移 smartbimpp迁移 高速缓存库迁移高速缓存库
支持下面几种数据库: SmartbiMpp,广州思迈特软件有限公司研发的高速缓存库 SmartbiMppMD,广州思迈特软件有限公司研发的高速缓存库 Presto+Hive Vertica 星环 1.png 采购高速缓存MPP模块后,可以根据实际情况选择以上几种数据库中的一种作为高速缓存库。 配置步骤 高速缓存库在Smartbi中的配置方法如下: (1)启动服务器,在浏览器输入Smartbi地址,进行登录; (2)输入用户名密码,登录平台; (3)在“系统导航栏”选择 数据连接,在“资源目录区”的高速缓存库更多操作0.jpg,选择 打开,或双击 高速缓存库; 高速缓存库.png (4切换高速缓存库
当系统检测到Smartbi已不再支持当前使用的缓存库产品,可通过切换高速缓存库进行调整,保证新功能正常使用。 高速缓存库的切换方法如下: (1)启动服务器,在浏览器输入Smartbi地址,进行登录; (2)输入用户名密码,登录平台; (3)在“系统导航栏”选择 数据连接,在“资源目录区”的高速缓存库更多操作0.jpg,选择 打开,或双击 高速缓存库; 高速缓存库.png (4)进入“高速缓存库”界面 2022-02-15_11-07-29.png (5)选择新的驱动程序类型 2022-02-15_11-14-14.png (6)根据选择的数据库,修改相应连接属性,连接属性详情请参见各数据库的连接详情; (7切换高速缓存库
当系统检测到Smartbi已不再支持当前使用的缓存库产品,可通过切换高速缓存库进行调整,保证新功能正常使用。 高速缓存库的切换方法如下: (1)启动服务器,在浏览器输入Smartbi地址,进行登录; (2)输入用户名密码,登录平台; (3)在“系统导航栏”选择 数据连接,在“资源目录区”的高速缓存库更多操作0.jpg,选择 打开,或双击 高速缓存库; 74.png (4)进入“高速缓存库”界面 75.png (5)选择新的驱动程序类型 2022-02-15_11-14-14.png (6)根据选择的数据库,修改相应连接属性,连接属性详情请参见各数据库的连接详情; (7)修改完成后,点击保存,确认弹出提示高速缓存库查询报错查询超出最大内存限制
问题现象: 高速缓存库抽取的时候报错,抽取日志中显示超出内存最大限制14G大小,实际上仅2-3个模型进行并发的抽取,就会将内存全部占满。 image2024-7-27_17-34-22.png 问题原因: 按照数据模型抽取逻辑,产品会将维表和事实表单独抽取到高速缓存库中之后在高速缓存库中通过关联查询将所以的表汇总成大宽表,在关联查询的时候很可能因为数据量过大且并发的查询较多的情况下高速缓存库的内存就很有可能会出现不够用的情况。 解决方案: 主要可以从以下几个方面进行优化。 1、调整数据模型维表数据量 高速缓存库会先将表全部抽取之后再进行关联,当维表的数据量很多的时候,比如维表数据量50万,事实表数据量几百万