第31页,共202页。 显示 2,015 条结果 (0.208 秒)
部署Smartbi数据挖掘引擎/SmartbiETL
131072 * hard nproc 131072 1.4添加主机名映射关系 将数据挖掘组件中的服务器主机名映射到hosts文件中 vi /etc/hosts 在文件末尾添加服务器的ip和主机名称映射关系(10.10.35.133是服务器的ip地址,10-10-35-133是服务器的主机名)。 10.10.35.133 10-10-35-133 部署smartbi服务器的/etc/hosts,需要添加所有数据挖掘组件的主机和IP地址映射 2、部署数据挖掘引擎 对于自定义驱动的业务库数据源,在部署数据挖掘引擎时需要将驱动包放到部署挖掘引擎主机的<smartbi-engine-bin>/conf/lib对应数据库的目录里面。然后Smartbi数据挖掘引擎/SmartbiETL安装前准备
,python节点,都要用到jdk 安装介质可能会版本更新,请以实际为准 关于主机名和IP地址映射: 部署数据挖掘时,需要将Smartbi和数据挖掘组件中的服务器主机名映射到每台服务器的/etc/hosts文件中, 数据挖掘组件之间的通信会使用到主机名,如果未配置主机名和地址映射,数据挖掘在运行过程中地图区域
设置数据映射名称(可选) 由于每个地图中,各个区域名称的区域名称是固定的,比如广东省的区域名称为“广东省”。但是实际数据可能是“广东”,“guangdong”,甚至是“510000”等。 因此通过设置数据映射名称,可将实际数据与区域名称进行映射。 数据映射名称格式为: 名称1;名称2;名称3 … : image2021-10-12_16-24-28.png 原理说明 在通过区域标识列数据来匹配地图上的区域时,基本的步骤如下: (1)首先通过区域标识列这个字段的数据,比如“福建”、“广东”这些数据。在地图区域中找到 数据映射名称包含“福建”、“广东”等的地图区域 image2021-10-12_16-25-59.png (2)找到该地自助ETL-关系目标源
输入框。 image-2024-08-12-10-30-05-537.png 5. 回退SQL语句 回退SQL语句用于在插入数据前先把满足条件的数据删除,可实现增量删除。 无(默认); 执行前删除数据:根据填写的删除sql语句条件,可实现在插入数据前先把满足条件的数据删除掉。 关系目标表(追加)、关系目标表(插入或更新)节点支持回退模式功能。 勾选回退SQL语句,在删除sql语句框中填写删除语句(条件SQL使用表头真名)。 image2024-6-11_10-33-16.png 如下图,根据条件会先删除订单日期为”2024-02-28“的数据,然后根据节点功能更新、追加数据:关系目标表(追加)节点会直接追加参数输出
1. 概述 参数输出:配置SQL脚本,将通过SQL取到的数据输出为参数。在两个地方可以使用这输出参数,一是在当前节点与下游节点的”连线条件“中做分支条件判断时使用;二是下游节点任意可以使用参数的地方都可以使用它。 image2025-4-10_14-0-48.png 2. 节点使用说明 1、从”添加节点“面板 … image2025-4-10_14-13-17.png 3、在”SQL脚本“对话框上,直接输入用来获取参数值的完整的SQL语句。在SQL中可以使用在”参数管理“中配置的作业流参数。 image2025-4-10_14-14-27.png 4、输出参数用处一:在当前节点与下游节点的”连线条件“中做分支条件判断时使用ES数据源集群连不上
' at org.elasticsearch.hadoop.rest.InitializationUtils.discoverClusterInfo(InitializationUtils.java:403) ~[elasticsearch-spark-30_2.12-8.11.1.jar:8.11.1] at org.elasticsearch.spark.sql.ElasticsearchRelation.cfg$lzycompute(DefaultSource.scala:234) ~[elasticsearch-spark-30_2.12-8.11.1.jar:8.11.1] at org.elasticsearch.spark.sql.ElasticsearchRelation.cfg(DefaultSource.scala:231Sparks精度超过限制问题
问题描述 客户一段sql在数据库中能查询出数据,用数据查询节点执行查询也无问题,但执行节点是报错 Caused by: org.apache.spark.SparkArithmeticException: [DECIMAL_PRECISION_EXCEEDS_MAX_PRECISION] Decimal precision 8 exceeds max precision 7. at org.apache.spark.sql.errors.QueryExecutionErrors$.decimalPrecisionExceedsMaxPrecisionError(QueryExecutionErrors.scala:1275填报公式依赖单元格变化回写值未改变
问题现象: 在使用回写公式计算的结果值时,会出现依赖的单元格修改是,但是保存刷新后发现值未进行修改的问题。 aaaa.gif 问题原因: 回写规则配置时配置了回写内容为回写修改内容,此时只会检测到回写的单元格发生改变时进行数据更新,但是由于第三方插件在公式引用的单元格改变时不计算单元格值,导致读取到的值未检测到发生改变。 image2024-2-6_10-39-28.png 解决方案: 1、使用回写全部内容 在回写规则中的回写内容改为回写全部内容,回写全部内容会将映射的单元格数据全部执行回写逻辑,这样修改的映射值就会发生改变,但是若当前表单数据量较大时,对回写的性能会造成较大影响数据模型-存储过程查询切换参数数据不更新
问题说明 在数据库中创建了待参数的存储过程,然后在BI中创建数据模型-存储过程查询并且做好了参数映射,但在仪表盘界面切换参数后数据没有更新 解决方案 数据模型-存储过程查询默认会走抽取方式,因此需要把抽取模式设置为查询动态抽取 (原:按次抽取)数据才会发生变动。 注:查询动态抽取 (原:按次抽取)是每次用户登录都需要重新抽取,具体说明可以参考wiki说明:直连&抽取 image2022-11-8_18-32-15.png知识配置规范
1. 什么是知识 知识(Knowledge)是指在自然语言到SQL(NL2SQL)转换过程中,用于帮助大模型理解业务领域特定术语、逻辑、规则等的辅助信息。 知识的配置旨在提升模型生成SQL/MQL的准确性和可解释性,尤其是在面对复杂业务场景时。 2. 为什么要配置知识 提升模型理解能力:通过配置 … 知识,减少模型生成MQL后的人工修正工作,提升自动化程度。 3. 知识配置基本原则 3.1 配置原则 避免过度配置:不要过度依赖业务知识,避免让模型过于依赖外部知识而失去泛化能力。业务知识应作为辅助,而不是主导。 准确性:确保业务知识的准确性和时效性,错误或过时的业务知识会导致模型生成错误的SQL语句