第68页，共606页。 显示 6,060 条结果 (0.079 秒)
ShenTong神通（集群）数据连接
1 概述 神通数据库（MPP集群）是企业级大规模并行处理分布式关系型数据库，具有负载均衡、在线扩展、高可靠性等集群特性，并提供丰富的数据分布方案和高速的数据导入性能，同时具有高效的查询处理性能。 本文介绍如何在smartbi V9.5以上版本中连接神通数据库。 2 数据连接 2.1 配置信息 驱动程序类 连接字符串 驱动程序存放目录 支持数据库版本 com.oscar.cluster.Driver jdbc:oscarcluster://<servername>/<database> 自定义 神通xCluster集群件V3.5.8.1（build df391630) 1）连接基于mysql数据源创建的资源无法筛选出中文数据
（本文档仅供参考） 问题 mysql数据源下，有如下场景： 1、使用原生sql数据集查询数据时，当参数或者where后面条件是中文时无法查询出数据，若是英文/数字可以查询出数据； 2、使用即席查询、透视分析的条件参数/参数面板，选择或输入中文值也无法查询出数据，若是英文/数字可以查询出数据； 在数据库工具直接执行sql，无论where=中文或者英文都可以查询出数据。 问题原因 此问题是因为数据源中所使用的链接字符串有误导致的。 场景1 我们产品使用的url链接本身是没有带amp;的(amp;代表的是html里面&的转义符号)，去掉此字符后，查询正常，以下是错误以及正确的url高速缓存数据预处理是什么机制，数据处理流程是什么？
（本文档仅供参考） 问题 高速缓存数据预处理是什么机制，数据处理流程是什么？ 解决方案 1.高速缓存库用来存储抽取、计算后的结果数据。 比如报表是通过数据集获取数据，在未抽取的情况下，数据集执行sql获取数据，sql中可能含有复杂计算、多表关联等情况。在使用抽取的情况下，Smartbi会先执行一次查询，将查询结果写入高速缓存库。 高速缓存库只保存抽取结果，通常是一张大宽表，里面的字段就是数据集查询的字段，报表获取数据就直接查询高速缓存库中的结果表，减少中间过程的时间消耗。 2.经常会遇到sql语句执行速度慢的情况，通常可能的原因便是原始数据库并发压力大、sql逻辑复杂（多表关联、带复杂计算），可以数据模型抽取日期类型溢出
（本文档仅供参考） 问题现象： 在数据模型中新建的sql查询，查询时发现数据库中的数据为3405-08-22以及2999-12-31，但是数据模型中预览数据的时候发现两个数据均变成了2120-07-26，和数据库中查询到的数据不同。 image2024-8-31_14-22-40.png image2024-8-31_14-26-8.png 问题原因： 从sql查询的结果上来看，数据库中存储的数据是没有问题的，但是模型中查询到的数据却是异常的。排查sql发现预览数据查询的数据库实际上是高速缓存库，目前高速缓存库上日期类型的数据支持的数据范围是【1970-01-01，2120-07-26】。数据库的数据支持范围⬝ 使用OceanBase数据库作为知识库
OceanBase 数据库 (OceanBase Database Server) 是全球唯一在 TPC-C 和 TPC-H 测试上都刷新了世界纪录的国产原生分布式数据库，具备高可用、高扩展、高兼容、易管理、部署灵活、高性价比等特点 2.png Smartbi主要适配了OceanBase分布式数据库 V2.2 版本 ，并且已做了兼容性测试、功能性测试。 配置方法 1、在Smartbi中配置知识库时，如何连接到OceanBase数据库?其实和连接其他的数据库没什么区别。 数据库类型选择 OceanBase，如下图： 3.png OceanBase 2.2版本不需要配置驱动，使用产品自带的驱动大数据量抽取性能优化
1. 应用场景 超大数据量抽取性能无法满足需求，需要优化。 2. 实施步骤 2.1 ETL部署服务器配置 数据抽取性能优化的关键是尽可能多线程并行抽取，多线程就要求有多核cpu，每个线程执行的时候，也需要消耗内存，数据抽取的时候，会有数据落盘，对磁盘容量跟IO性能也有一定要求。总体而言，越高的服务器配置越能 … ， 以免并发过大对数据库造成压力过大， 出现稳定性问题。 如需设置，参考下图，红框中local后面的数字，就表示分配cpu核数。默认值local[*] 表示分配了服务器所有cpu核数。 image2024-7-18_16-38-53.png 2.2.3 磁盘空间 因为数据量大，要求把ETL引擎部署在容量文件数据源导入报错：指定的基础表不存在
（本文档仅供参考） 问题现象： 导入本地Excel文件到MySQL数据源中报错：指定的基础表不存在，如下图 https://wiki.smartbi.com.cn/download/attachments/76677630/image2021-4-6_9-57-56.png?version … ?Expires=1678960974&OSSAccessKeyId=bPexlr6MCcadDhfu&Signature=0eDGu21x0CdWDYzlhmyl0SgKxvA%3D 问题原因解决方案： 原因：导入的数据源是用的默认的mysql的系统库，如下图示。由于对系统库操作修改会存在没有权限的问题，最关键的是随意修改会对数据自助仪表盘基于impala数据库做油量图的时候报错
（本文档仅供参考） 问题现象 在使用v8.5版本的自助仪表盘做油量图的时候报错了，数据库是impala数据库。若用数据做柱图是没问题的，也让客户将错误信息中的sql放入impala数据库中执行，发现是在执行的sql最后面添加了order by 导致的 image2018-11-16 16:58:2.png image2018-11-16 16:58:45.png 问题原因 该问题与war包版本无关，主要是因为系统选项中配置的查询分页默认的是SQL分页，如果是SQL分页，则执行SQL会在查询外套一层并加上order by后根据返回结果分段分页，由于impala数据库比较特殊，如果最外层使用了SUM，则order高速缓存抽取后日期数据不正确
（本文档仅供参考） 问题现象 日期类型数据抽取到高速缓存库后，日期数据显示不正确。 image2024-1-31_18-34-27.png image2024-1-31_18-35-30.png 原因 对于DateTime类型（含时分秒）：最大值为'2106-02-07 06:28:15'。这是因高速缓存库基于Unix时间戳（自1970年1月1日0点开始计数），而Unix时间戳在2106年02月07日将超过32位整数的最大值，从而导致溢出。 故，9999-09-09 这样值无法存储，抽取后的数据不正确。 处理方案 建议是将字段由日期类型改为字符串类型后再进行抽取。 验证如下获取上一年年末数据
1 背景 用户在报表层根据“年”筛选数据，获取上一年年末数据。 比如"行"轴的日期是：2024-03-24，获取 2023年12月31日的数据，如果日期是2023-03-24或2023-12-30 获取2022年12月31日的数据。 2 需求分析 如果要实现这个需求，需要根据行轴上的”日期“获取上一年的最后一天。 3 具体操作 可以点击链接 https://demo.smartbi.com.cn/smartbi/smartbix/?integrated=true&showheader=false&isNewWindows=true&l=zh_CN&nodeid
