第19页,共316页。 显示 3,153 条结果 (0.058 秒)
clickhouse数据库监控工具使用
1. 需求背景 SmartbiMPP高速缓存库监控管理工具中详细介绍了SmartbiMPP高速缓存库监控管理工具,高速缓存库工具除了可以对SmartbiMPP进行监控外,还可以对Clickhouse数据库的运行情况进行监控。 2.使用说明 以监控CH业务库为例 … 添加编辑 image2024-6-18_12-25-13.png 配置成需要变更后的业务库CH库,点击确定。 image2024-6-18_12-21-48.png 全部确定后进行导入。 3 报表入口 在“分析展现”界面,展开左侧资源目录区,选择 分析报表 > system > 分析报表计算列函数数据库适配情况
1 概述 为了使用户更好、更方便的进行数据加工,计算列函数在数据模型引擎V2.0中新增了45+函数,并且适配了50+的业务库。 1、函数是基于数据模型引擎V2.0进行适配的,只有在引擎V2.0开启状态下才能正常使用;如果没有适配,使用对应的函数可能会报错。 2 目前数据模型引擎V2.0 已适配的业务库 以下是计算列函数适配数据库函数情况:image2024-1-29_15-1-30.png代表已经已经适配了,详细可查看:数据连接支持情况-汇总。 数据库名称 适配情况 备注 Aliyun AnalyticDB 已实现 Aliyun MaxCompute 未适配 ByteHouse基于跨库数据源查询报错表不存在(大小写敏感)
image2024-1-31_19-3-26.png 二、V10.5.15及以上版本 在数据库连接配置界面,新增自定义参数设置选项,当V10.5.15、V11及以上配置自定义参数:uniondb-case-insensitive-name-matching=true,该业务添加到跨库会自动增加配置 … (本文的仅供参考) 问题现象 将数据源放入跨库数据源中,基于跨库数据源查询报错数据表不存在(table does not exist) image2024-1-31_19-0-10.png 原因 原始数据源大小写敏感,目前跨库查询时表名是小写的,实际原始数据库中存储的是大写。 处理方案 一跨库查询第一次正常,第二次报错Closed Connection
(本文档仅供参考) 问题描述 基于跨库联合数据源新建原生sql数据集,第一次正常,再查询一次却报错Closed Connection。业务库和跨库的测试连接一直是通过的。 image2024-9-21_9-44-46.png 获取数据SQL错误:SELECT c."CC … ) at com.facebook.presto.plugin.jdbc.JdbcRecordCursor.<init>(JdbcRecordCursor.java:90) ... 17 more 解决方案 相关报错是跨库自身的连接池因未知原因抛出的异常,可在自身业务库开启数据库连接池的情况下,在业务库-高级-自定义参数设置添加高速缓存库查询报错查询超出最大内存限制
的情况下,维表与事实表通过join关联的时候就会非常的消耗内存。建议是将维表进行调整,将大维表拆分为小维表,维表的数据量越小,占用的内存越少。 2、错峰抽取 在抽取时大表关联时消耗的内存较大的问题,可以通过错峰抽取,缓存高速缓存库内存过度占用的问题。 3、调整高速缓存库的内存 当业务需求量达到一定程度时,模型优化和错峰抽取均无法满足内存过度占用的情况下,建议通过调整内存大小的方式来满足高速缓存库实际的业务需求量。 抽取内存不够 抽取超内存限制跨库联合数据源
数据连接节点下无法看到”跨库联合数据源“节点,同时数据源的操作不需要自动同步到跨库联合数据源。 这里特别说明: 对于新用户(使用V11最新版本),该选项是true,”跨库联合数据源“不显示在数据连接下面,同时新建的业务库也不会自动同步到“跨库联合数据源”。 对于老用户(从旧版本升级/V11换最新包 … 数据源,可以连接不同的数据源,并进行联合查询和分析,实现对整个数据仓库的全面分析。例如,可以连接数据仓库和实时数据流,将历史数据和实时数据进行联合分析,帮助企业了解业务趋势和实时监控。 3、外部数据整合:在一些情况下,企业可能需要整合和分析来自外部的第三方数据。通过 Smartbi 跨库联合数据源,可以连接外部数据源,并将阿里云分析型数据库Mysql版(ADB)在Smartbi报表查询中的日期时间不一致
(此文档仅供参考) 问题描述 阿里云数据源(ADB)在Smartbi展示的日期时间与数据库日期时间不一致(相差了一个月)。 数据库工具查询结果: image2022-5-20_9-23-55.png Smartbi原生sql数据集查询结果: image2022-5-20_9-24-34.png 问题原因 该问题是因为阿里云数据库在Smartbi中进行数据源配置的时候,选择的驱动程序类型是MySQL,但实际上业务库是阿里云数据库。阿里云数据源的默认Url连接字符串与MySQL的不一样导致。 错误的数据库连接信息(选择了MySQL的驱动程序类型Excel数据导入时Excel中是名称,希望导入到数据库中是code
(1)中创建好的Excel导入模板,然后把自己填充数据的Excel文件上传,进行批量导入” 在某些情况下,Excel中的数据不全是业务人员自己填充的,有部分需要从数据库中取出来。比如下方的导入数据中,前3列“销售”、“身份证”和“部门”就需要从数据库中读取。那么这样的原始文件,我们可以在smartbi中制作好电子表格,把需要的数据查询出来,同时留下空白位置,让客户人员查询这张电子表格之后,可以导出Excel进行数据的填充,之后上传补录。 image2018-10-12 14:45:55.png 针对上面的这种场景和本文档的需求,我们可以通过以下步骤实现: 1.创建查询,将业务人员需要从数据库中读取的数据读取获取数据库表
(此文档仅供参考) 原理 要通过 JDBC 驱动获取数据库中的表、视图等对象信息,核心是利用 JDBC 规范中定义的数据库元数据(Database Metadata) 机制,具体流程如下: 建立数据库连接 首先通过 JDBC 驱动加载并建立与目标数据库的连接(Connection对象),这是获取元数据的前提。例如,通过DriverManager.getConnection(url, username, password)方法获得连接,其中url需指定数据库类型(如 MySQL、Oracle 等),驱动会根据类型适配对应的连接逻辑。 获取数据库元数据对象 调用Connection对象的getMetaData()方法高速缓存库
是Smartbi 提供的对数据查询进行缓存和提速的功能。 高速缓存库的作用是解决用户原始数据库查询慢并且不好解决的场景,可以通过定时抽取把数据缓存到缓存库,提升报表的查询性能。 支持范围 高速缓存库支持下面几种数据库: GaussDB(DWS) Presto+Hive (信创版支持) ,广州思迈特软件有限公司研发的高速缓存库 ,广州思迈特软件有限公司研发的高速缓存库 StarRocks TiDB OceanBase(mySQL)(信创版支持) OeacleBase(MySQL)作为高速缓存库时, 需要oceanbase版本在v4.2.2以上,才支持LOAD DATA LOCAL