第13页，共164页。 显示 1,631 条结果 (0.032 秒)
使用跨库的数据集抽取报无法获取连接Cannot get a connection
问题说明 QQ截图20190313103920.png 问题原因 SmartbiUnionServer在多个数据库跨库进行查询时，有数据库表超过几十万条数据到上百万数据，查询的时候其他查询会不能查询，只能进入队列，之后presto连接测试，select 1进入了队列，smartbi这边查看30秒未获取到查询结果，直接报错无法创建连接。 解决方案 SmartbiUnionServer指定设置资源配置文件，配置查询的并发数。在etc/目录添加文件resource-groups.properties,queue_config.json，然后重启SmartbiUnionServerClickhouse中如何查询落地到磁盘中的表的大小
（本文档仅供参考，因涉及到清理数据库的数据，如不确认查询是否正确可将根据文档查询到的信息反馈至官方支持） 问题 经常有客户咨询MPP占用了很多的磁盘空间，该怎么清理MPP占用的空间？ 解决方案 如若是和bi相关的，通常是由于以下几种原因生成： 1、生成的抽取自动备份的表太多，占用的空间较多； 2、历史遗留 … 示的是自动备份的表，可直接运行drop命令删除不用的备份表： （首次抽取会在缓存库生成目标表，再次点击抽取之前生成的目标表会增加后缀变成xxx.bak ，重新生成了新的临时表。系统默认会备份存储5个目标表，若希望减少备份可 修改系统选项的 BACKUP_TAB_RETAIN_NUM=5 配置得个数系统选项-高级设置
菜单显示调试。 是 SmartbiMpp 插入数据时自动处理NULL值 （CLICK_HOUSE_AOTU_CONVERT_NULL） 用于回写、导入、抽取等操作时自动处理NULL值。 否 DISABLE_WRITE_TO_SMARTBI_CACHE 加载文件数据默认不允许导入高速缓存 … “CLICK_HOUSE_AOTU_CONVERT_NULL”可控制Smartbi MPP 插入数据时是否自动处理NULL值。默认为“否”，即不处理NULL值。 image2020-3-11 11:7:0.png 适用场景 一般在回写导入抽取等有NULL值的时候就会报错（如图），此时需要设置配置项的值202411产品更新说明
在抽取模式下默认开启缓存 在新版本中，优化了数据模型抽取模式下的缓存策略：默认启用缓存，且不提供禁用缓存选项。当数据模型更新或重新抽取数据时，系统会自动清理旧缓存，确保数据始终保持新鲜。详细可查看：缓存设置。 huncuncelue-01.png < 数据模型“按次抽取”改成“查询动态抽取”并且增加数据有效期 原有的“按次抽取”在报表查询时根据用户提供的参数值实现了动态数据抽取。为了用户更容易理解，新版本中将“按次抽取”更名为“查询动态抽取”，并新增了在每个表/查询上设置数据有效期的功能。一旦超过设定有效期，查询报表时将自动重新抽取数据，以确保数据的新鲜度和时效性。详细可查看：直连&抽取数据模型-连接模式
若当前为直连模式，新建不支持直连的私有查询，弹出提示，私有查询保存后自动转换为抽取模式； image2021-7-8_13-56-27.png 抽取模式 … 连接模式类型 数据模型的数据连接模式有两种： 直连：连接到业务库，直接从业务库中取数。 抽取：连接到高速缓存库，从缓存库中取数；抽取模式可以保证秒级获取大级别量的数据结果，提高系统性能。 连接模式选择入口 在数据模型的“表关系区”右上角含有连接模式切换键：连接模式的选中状态以蓝底显示数据挖掘-OneHot编码
，特征索引和特征值组成。 image2020-9-11_16-15-16.png 输入/输出 输入 没有输入端口。 输出 一个输出端口，用于接入下一个节点，与抽取节点组合使用。 参数设置 参数名称 说明 备注 新增列后缀 用于设置在原字段名后追加后缀生成新的列，默认后缀为：OneHot； 该节点与抽取、变换节点组合使用； image2020-9-8_9-48-8.png 非法数据处理策略 选择对非法数据进行处理的策略，非法数据指空值或未进模型的类别值。 自动过滤：在转换时，对在抽取时未出现的类别或空值Smartbi V10.5-数据准备
+【数据模型】支持自动创建“日期表”，实现时间层次的标准化定义 +【自助ETL】新增源库SQL脚本节点 +【作业流】新增检查依赖节点 ^【数据模型】实现模型参数复制，快速复用模型公共参数 ^【数据模型】增加表关系自动检测 ^【数据模型】抽取支持建模和数据抽取独立执行 ^【数据模型】表关系区支持子布局视图 … ，造成模型查询结果不对； 而V10.5优化了了这个建模过程，如果两个表存在相同的字段名称和数据类型，会“智能”的设置关联关系，这样不但缩短了建模时长还增强了用户体验。 功能简介 自动创建模型表关系支持“直连”和“抽取”模式。 系统自动创建模型表关系的前提条件必须同时满足如下两个： 设置了检测表关系的策略数据挖掘-OneHot编码
，特征索引和特征值组成。 image2020-9-11_16-15-16.png 输入/输出 输入 没有输入端口。 输出 一个输出端口，用于接入下一个节点，与抽取节点组合使用。 参数设置 参数名称 说明 备注 新增列后缀 用于设置在原字段名后追加后缀生成新的列，默认后缀为：OneHot； 该节点与抽取、变换节点组合使用； image2020-9-8_9-48-8.png 非法数据处理策略 选择对非法数据进行处理的策略，非法数据指空值或未进模型的类别值。 自动过滤：在转换时，对在抽取时未出现的类别或空值202407产品更新说明
据抽取方面，V2.0进行了6项优化，包括引入智能小宽表策略，根据表间基数关系自动优化数据抽取策略；同时，按次抽取通过动态有效期管理和结果共享机制，有效减少资源消耗。此外，计算列函数库从原有的14个函数扩充至45个，涵盖各种数据处理场景，为用户提供丰富的数据分析工具集。详情可查看：数据模型引擎V2.0。 ^ 计算 … %E6%80%A7%E8%83%BD%E7%AE%80%E5%8D%95%E5%AF%B9%E6%AF%94。 sql.png 3.5 公共模块 ^ 知识库配置自动识别编码 Config界面的MySQL知识库默认字符编码是GBK，当数据库的编码是UTF8时，会有一些字符编码兼容问题。为了解决该问题，新版本202406产品更新说明
+ ETL自动生成分区条件，加快抽取速度 ETL默认单线程抽取数据，通过分区设置，能够实现多线程抽取，显著加快抽取速度。例如Oracle数据库，1亿条数据单线程需要20分钟，8线程只需4分11秒，速度提升4.8倍。旧版本需要手动设置分区条件，对用户技能要求高。新版本提供图形化的分析结果，以及一键生成分区条件 … 大数据图形渲染性能。 3、提高系统安全性，有效保护数据和系统免受威胁，如前后端分离部署。 4、增强数据分析和处理能力，满足更多项目需求，如数据模型全面开启"SQL引擎"、ETL目标表支持KingbaseES等。 5、增强功能易用性和用户体验，如数据模型度量区支持创建多级目录、即席查询和透视分析支持互相转换、ETL自动生成
