第14页,共164页。 显示 1,631 条结果 (0.108 秒)
系统选项-高级设置
) 用于回写、导入、抽取等操作时自动处理NULL值。 否 数据安全 RAW_SQL_APPLY_MASKING_RULE 如果在源表设置了脱敏规则,通过原生SQL数据集、SQL查询等方式取数,如果开启了该项,能正常继承到对应的脱敏规则,从而对数据进行脱敏处理; 系统系统默认false,即不开启(不 … 1.png 在数据抽取中只要清空抽取表的数据,系统就会自动备份。 2.5 是否开启vertica数据库用ilike代替like,模糊匹配不区分大小写 背景 在Vertica数据库中,原先是通过修改数据库大小写配置,实现字段条件不区分大小写筛选的效果,但是这样会影响数据库性能。可以数据挖掘-数据的输入和输出
windows:file:///D:/tmp/test.csv ${ParamName}表示动态参数; 场景:生成的文件名是按天动态生成的,今天的是20250618.csv, 明天自动更新成20250619.csv 示例:hdfs://10.10.202.26:9000 … :测试1000条、全部。 文本分隔符 选择当前数据文件中的分隔符,除了系统默认支持的逗号、分号、空格、tab、竖线,还支持用户自定义分隔符。 用户自定义分隔符的方法是:直接在文本框中输入分隔符,弹出该分隔符的下拉选项供选择即可。如下所示: 数据挖掘-文本数据源-自定义分隔符.gif 自动推断缓存设置
不管是 抽取 还是 直连 模式都支持 启用缓存 1、抽取模式下: chouqu.png 抽取模式默认就是”启用“缓存,不能禁用缓存,考虑到抽取默认就是把数据抽取到MPP库中,数据是相对固定的,禁用缓存没有意义。 更新模型或重抽会自动清理缓存,否则缓存会一直存在。 2、直连模型下 … 启用缓存,同时产品本身在”更新抽取“或者”计划任务调度“时是会清空缓存。 更新模型、重抽数据 自动清理缓存。 3、如果在报表层,比如仪表盘: 同一个组件的内容,引用到其他报表,会使用一个缓存; 同数据不同组件,会使用同一个缓存 清单表滚动加载,分页数据不会重新发送加载数据请求 相同的筛选组合,重复通过API获取数据
ETL-API 取数 和 循环分页取数 文档。该方案提供可视化操作界面,无需复杂代码编写。image2025-6-18_16-33-32.png 3 数据抽取策略 非实时数据抽取: 若对数据实时性要求不高,推荐采用全量抽取策略。完成首次数据抽取后,可在系统中设置定时任务,按照预设周期(如每日、每周)自动更新数据,确保数据的时效性与完整性。 实时数据抽取: 如需获取实时数据,可使用 “查询动态抽取” 功能。该功能可根据预设规则,实时响应数据变化,实现数据的动态更新。具体配置方法及注意事项,可查看直连 & 抽取文档。设置查询关系
开启自动检测关系:需要在运维设置/ 系统设置 / 高级选项 设置 OLAP_QUERY_AUTO_ADD_CHECK_LINK=true,或者 数据模型的 设置/自动检测表关系 选项选择 “检测”, 在加载表或者模型时才会自动检测关系。 不管是直连还是抽取模式,如果数据模型同时加载两个或多个表/查询时,Smartbi … 1 概述 在数据模型中进行表/查询关联时,支持对某个数据连接的多个表进行关联,也支持对多个数据连接中的表进行关联。 1、数据模型支持自动检测关系,也支持手动创建关系、手动检测关系。 2、数据模型默认开启 自动检测关系 ,如没有开启:需要在运维设置/ 常用功能 / 系统选项/高级设置 设置202506产品更新说明
高阁清凉六月天,松间小坐听流泉。山深不知人间暑,一夜闲眠似羽仙。 1 发布月份 2025年 06月 2 更新概览 1、分析体验更智能灵活 AIChat:新增对话上下文关联推荐、收藏对话定时刷新,实现“主动式分析”;切换数据模型自动新建对话,提升易用性。 可视化报表:即席透视支持下拉树筛选器,直观过滤层级数据;仪表盘组件全面统一使用新版排序逻辑,支持多字段与分区排序。 2、数据治理效率显著提升 ETL高级查询支持动态抽取,确保实时数据可用性。 优化数据模型保存、多维引擎查询性能,提升系统响应速度,保障业务稳定运行。 数据模型校验新增“一键修复”功能,自动清理三类“脏数据”,降低运维成本明道云数据源
计划任务: 生成对应的自助ETL,每天定时从明道与获取数据到高速缓存库; 可以设置1天更新一次或者多天更新一次,取决于客户的业务要求; 保存成之后,后台会异步调用第一次全量抽取数据; 该调度是增量抽取数据的计划,默认从第二天开始,每天0点执行,可自行修改调度时间. 自动生成的自助etl信息不能删除和修改、计划不能删除,否则无法增量抽取数据 4、最后点击保存,弹出保存成功提示,就说明连接成功! 500.png 5、在数据库管理界面中可以添加、移除表。 image2025-5-16_15-22-53.png 1.目前明道云数据源创建成功之后暂不支持打开查看和修改 3.删除明道云数据源之后不会同步删除高速缓存库里数据模型-工具栏
image2022-2-3_17-47-31.png 自动检测关系:用于设置是否自动检测模型表关系。 检测image2022-2-3_17-53-19.png:表示系统检测模型表关系,并自动为没有设置关系的模型表建立关系。 不检测image2022-2-3_17-53-41.png:表示系统不检测模型表关系,表关系建立需要手动或者通过工具栏按钮 检测关系 http://wiki.smartbi.com.cn#检测 实现。 系统配置image2022-2-3_17-54-29.png:表示读取 系统选项 > 高级设置 中的设置项“数据模型加载时自动检测关系 https系统选项-性能优化
用于设置数据集的分页策略,有SQL分页和结果集分页。 SQL分页 自动缓存 设置是否启用自动缓存。 是 数据集单次查询最大单元格数 用于限制数据集单次查询最大单元格数。 200000 SparkSQL结果集最大行数 用于设置SparkSQL结果集的最大行数。 100000 抽取 抽取并发线程数 用于设置对单个数据集的抽取的并发数量。 数据模型引擎V2.0上的抽取不支持多线城。 5 单线程抽取数据行数 用于设置每个线程的抽取数据量。 1000000 报表 报表最大单元格数 用于设置电子表格最大查询单元格数量。 100000 电子表格分组大数据量查询优化:预计算
1、目前只有数据模型抽取模式才支持设置预计算。 2、目前预计算支持的高速缓存库:SmartbiMpp产品默认使用高速缓存库 https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=111757078CH、StarRocks https://wiki.smartbi.com.cn/pages/viewpage.action?pageId=111757078。 3、只有数据模型的抽取计划成功执行完成后,新创建或者修改的预计算才会生效。 4、预计算只支持选择原始度量,不支持计算度量、计算成员、命名集。 4、具体功能限制可查看:6 功能限制章节。 1 概述 预计算:即把