第26页,共566页。 显示 5,660 条结果 (0.035 秒)
ShenTong神通(集群)数据连接
1 概述 神通数据库(MPP集群)是企业级大规模并行处理分布式关系型数据库,具有负载均衡、在线扩展、高可靠性等集群特性,并提供丰富的数据分布方案和高速的数据导入性能,同时具有高效的查询处理性能。 本文介绍如何在smartbi V9.5以上版本中连接神通数据库。 2 数据连接 2.1 配置信息 驱动程序类 连接字符串 驱动程序存放目录 支持数据库版本 com.oscar.cluster.Driver jdbc:oscarcluster://<servername>/<database> 自定义 神通xCluster集群件V3.5.8.1(build df391630) 1)连接NoSQL数据源-MongoDB数据连接
1 概述 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。 本文介绍如何在Smartbi中连接 MongoDB 数据库。版本信息如下 驱动版本 Smartbi版本 mongo-java-driver-3.4.2 Smartbi V10 Smartbi支持的MongoDB数据类型如下: 数据类型 说明 备注 INTEGER 整数 固定格式的简单结构,且子元素结构必须相同 decimal 精确值大数据量抽取性能优化
1. 应用场景 超大数据量抽取性能无法满足需求,需要优化。 2. 实施步骤 2.1 ETL部署服务器配置 数据抽取性能优化的关键是尽可能多线程并行抽取,多线程就要求有多核cpu,每个线程执行的时候,也需要消耗内存,数据抽取的时候,会有数据落盘,对磁盘容量跟IO性能也有一定要求。总体而言,越高的服务器配置越能 … , 以免并发过大对数据库造成压力过大, 出现稳定性问题。 如需设置,参考下图,红框中local后面的数字,就表示分配cpu核数。默认值local[*] 表示分配了服务器所有cpu核数。 image2024-7-18_16-38-53.png 2.2.3 磁盘空间 因为数据量大,要求把ETL引擎部署在容量达梦8作为知识库,对数据库编码、数据库实例名,用户名大小写是否有要求?
(此文档仅供参考) 问题说明 达梦8作为知识库,对数据库编码、数据库实例名,用户名大小写是否有要求? 字符集GB18030或utf8都可以么? 问题解答 Smartbi对上述没有强制要求。如果可以选择的话并且是作为全新环境搭建的话,推荐不区分大小写,数据库编码选择utf8。 补充说明 在将MySQL/SQL Server数据库恢复到达梦8时,必须设置数据库为大小写敏感模式。 如果数据库配置为大小写不敏感,在表的主键中如果存在大小写相同的数据(如主键c_id同时包含“A”和“a”),恢复过程中会违反唯一性约束,导致数据导入失败。因此此类迁移需要将达梦的数据库设置为大小写敏感即席查询如何实现数据库的left join效果
(本文档仅供参考) 问题 目前有如下数据,基于数据模型的即席查询如何实现数据库的left join效果? image2025-3-19_11-5-46.png image2025-3-19_10-58-21.png image2025-3-19_10-58-47.png 当前效果 image2025-3-19_11-6-21.png 理想效果 image2025-3-19_11-6-57.png 解决方案 开启【显示无数据项目】,设置项说明:即席查询中如何查看无事实数据的维度数据 image2025-3-19_11-7-39.png 即席查询左关联 即席查询left join多维数据库—数据库管理
连接了多维数据源后,需要选择数据库中的多维数据集到系统中,才能正常使用多维数据集。 多维数据集是指通过对业务系统中的数据进行垃圾数据过滤、标准化,装载到数据仓库后,把数据仓库中的数据根据决策分析的需要重新组织,抽取出来另行存储的数据集合。 为了更加贴近决策分析的需要,多维数据集在结构上将同一个分析主题所涉及到的所有数据集中存储在一起,通过采用多维结构和部分预先聚合来实现灵活而快速的数据访问。 多维数据集通常包括多个维度(分析角度)和多个度量值(衡量指标)。例如一个名为Sales的多维数据集通过会包括时间、产品、商店、顾客等维,以及销售额、成本等度量值。 在本系统中,多维数据集通常用一个蓝色的小立方体表示。 操作入口多维数据库—数据库管理
连接了多维数据源后,需要选择数据库中的多维数据集到系统中,才能正常使用多维数据集。 多维数据集是指通过对业务系统中的数据进行垃圾数据过滤、标准化,装载到数据仓库后,把数据仓库中的数据根据决策分析的需要重新组织,抽取出来另行存储的数据集合。 为了更加贴近决策分析的需要,多维数据集在结构上将同一个分析主题所涉及到的所有数据集中存储在一起,通过采用多维结构和部分预先聚合来实现灵活而快速的数据访问。 多维数据集通常包括多个维度(分析角度)和多个度量值(衡量指标)。例如一个名为Sales的多维数据集通过会包括时间、产品、商店、顾客等维,以及销售额、成本等度量值。 在本系统中,多维数据集通常用一个蓝色的小立方体表示。 操作入口⬝ 使用OceanBase数据库作为知识库
OceanBase 数据库 (OceanBase Database Server) 是全球唯一在 TPC-C 和 TPC-H 测试上都刷新了世界纪录的国产原生分布式数据库,具备高可用、高扩展、高兼容、易管理、部署灵活、高性价比等特点 2.png Smartbi主要适配了OceanBase分布式数据库 V2.2 版本 ,并且已做了兼容性测试、功能性测试。 配置方法 1、在Smartbi中配置知识库时,如何连接到OceanBase数据库?其实和连接其他的数据库没什么区别。 数据库类型选择 OceanBase,如下图: 3.png OceanBase 2.2版本不需要配置驱动,使用产品自带的驱动数据挖掘-元数据编辑
概述 元数据编辑可用于修改数据集中字段的一些属性,包括名称、别名、数据类型及字段顺序等。 image2020-5-22 9:57:51.png 输入/输出 输入 一个输入端口,用于接收数据集。 输出 一个输出端口,用于输出元数据编辑的结果。 参数设置 设置元数据编辑的参数: image2020-5-22 9:59:43.png 设置说明如下: 参数 说明 属性 用于修改各字段的名称、别名、数据类型及字段顺序: image2021-3-18_10-30-56.png 元数据编辑数据挖掘-元数据编辑
概述 元数据编辑可用于修改数据集中字段的一些属性,包括名称、别名、数据类型及字段顺序等。 image2020-5-22 9:57:51.png 输入/输出 输入 一个输入端口,用于接收数据集。 输出 一个输出端口,用于输出元数据编辑的结果。 参数设置 设置元数据编辑的参数: image2020-5-22 9:59:43.png 设置说明如下: 参数 说明 属性 用于修改各字段的名称、别名、数据类型及字段顺序: image2021-3-18_10-30-56.png 元数据编辑