第4页,共602页。 显示 6,020 条结果 (0.542 秒)
NoSQL数据源-MongoDB数据连接
驱动版本 Smartbi版本 mongo-java-driver-3.4.2 Smartbi V10 Smartbi支持的MongoDB数据类型如下: 数据类型 说明 备注 INTEGER 整数 固定格式的简单结构,且子元素结构必须相同 decimal 精确值类型 Double 双精度浮点型 Date(TIMESTAMP) 日期 String(VARCHAR) 字符串 Boolean 布尔型 json 轻量级的数据交换格式 Array 数组 不支持其它对象Object和正则表达等数据类型。 2 数据数据挖掘-特征转换
概述 特征转换是实现特征类型的转换,将类别型变量转换为数值型变量,方便算法训练学习计算。 例如:将特征列中“男”“女”变量转换为0、1的数值。结合特征抽取中抽取和变换节点组合使用。 输入/输出 输入 没有输入端口。 输出 一个输出端口,用于接入下一个节点,与抽取 … 为数值型数据。效果如下: 图片2.png 特征转换数据挖掘-特征转换
概述 特征转换是实现特征类型的转换,将类别型变量转换为数值型变量,方便算法训练学习计算。 例如:将特征列中“男”“女”变量转换为0、1的数值。结合特征抽取中抽取和变换节点组合使用。 输入/输出 输入 没有输入端口。 输出 一个输出端口,用于接入下一个节点,与抽取 … 为数值型数据。效果如下: 图片2.png 特征转换自助数据集查询报错:'=' cannot be applied to boolean, integer
(此文档仅供参考) 问题说明 自助数据集两表关联查询报错:'=' cannot be applied to boolean, integer;但实际上两表关联的字段都是整型,并不存在数据类型不同的情况。注:两表来源的数据库都为MySQL image2022-2-15_16-0-48.png 问题原因 该问题主要是因为在mysql中是没有Boolean类型的,它的布尔类型是通过设置数据类型为:tinyint(1)来代表的,值是0或1; 而当前问题中两表关联的其中一个字段类型设置为tinyint(1),并且底层数据值为0或1,因此mysql驱动识别成了布尔类型。 解决方案 可在mysql数据源中,在连接字符串中添加该项SQL定义、数据集定义存储方式
(本文档仅供参考) 问题背景 1、有项目需要从后台统计数据集详细信息,可能会涉及sql数据集具体语句中的字段等信息,可以怎么获取? 2、有项目需要取数据模型-SQL查询里的SQL语句,想知道在知识库里的哪个表里可以查询到? 3、数据集的输出字段存在知识库哪张表里中? 解决方案 1、旧数据集信息存储在t_bizview表里,其中c_viewdefine字段中存储数据集的具体语句信息,以xml格式存储 字段名 字段别名 数据类型 可为空 主键 说明 c_viewname 视图名称 varchar(255) N N导出电子表格报错“错误数据集或数据表”
(本文档仅供参考) 问题说明 导出电子表格报“错误数据集或数据表”错误,单独打开数据集都是正常的,报表查询、打印也正常,唯独导出报错。 image2020-12-10_15-5-16.png 解决方案 分析系统日志后,发现是数据集中某些字段的数据类型不对。所以需要修改对应字段数据类型。 比如下图就是 数据超出整型范围。即需要将对应的字段改为浮点型等类型,日志报错如下。 Caused by: java.sql.SQLException: Numeric Overflow NumberCommonAccessor.getInt image2020-12-10_15-6-49.pngETL的Excel数据源:文本数据是0003676 ,执行后变成3676
(本文档仅供参考) 问题说明 ETL中使用Excel数据源,上传Excel文件,excel数据是文本,数据是0003676 ,但是执行出来前面的000没有了,如下图: image2024-1-17_17-7-54.png image2024-1-17_17-8-11.png 解决方案 这是由于ETL中使用了spark自动推断数据类型,原来的0003676这种格式推断数据类型后会变成3676,若不使用自动推断类型,全部字段会被当成字符串处理,这样的逻辑就更加不合理了,暂时没办法从代码上解决这个问题。 可以通过一些操作来规避:打开excel文件,在数据行开始前插入一行,有问题的列插入字符串型数据,其他列按照原先的类型插入自助ETL查询的数据被自动转义:1,2自动转换成true,false
(本文档仅供参考) 问题说明 自助ETL查询的数据被自动转义了,1,2自动转换成true,false image2023-11-27_15-26-46.png image2023-11-27_15-25-37.png 问题原因 上面的是mysql数据,涉及字段数据类型是tinyInt; 因为mysql 建表bool类型,入库默认变为tinyint(1),而spark中针对这种情况做了优化处理,mysql tinyint(1) 为0时处理为false,不为0则都处理为true;经分析spark的处理更符合逻辑,不然mysql 无法使用true和false字段。 解决方案 建议需要tinyint(1) 作为数值数据挖掘-元数据编辑
概述 元数据编辑可用于修改数据集中字段的一些属性,包括名称、别名、数据类型及字段顺序等。 image2020-5-22 9:57:51.png 输入/输出 输入 一个输入端口,用于接收数据集。 输出 一个输出端口,用于输出元数据编辑的结果。 参数设置 设置元数据编辑的参数: image2020-5-22 9:59:43.png 设置说明如下: 参数 说明 属性 用于修改各字段的名称、别名、数据类型及字段顺序: image2021-3-18_10-30-56.png 元数据编辑数据挖掘-元数据编辑
概述 元数据编辑可用于修改数据集中字段的一些属性,包括名称、别名、数据类型及字段顺序等。 image2020-5-22 9:57:51.png 输入/输出 输入 一个输入端口,用于接收数据集。 输出 一个输出端口,用于输出元数据编辑的结果。 参数设置 设置元数据编辑的参数: image2020-5-22 9:59:43.png 设置说明如下: 参数 说明 属性 用于修改各字段的名称、别名、数据类型及字段顺序: image2021-3-18_10-30-56.png 元数据编辑