第50页,共90页。 显示 897 条结果 (0.021 秒)
数据挖掘-卡方特征选择
概述 卡方特征选择与特征选择的功能类似,都是用于筛选特征到算法节点。卡方特征选择是根据卡方检验的数据相关性对特征变量进行排序,然后选择与目标变量相关性较大的特征变量。不同之处是卡方特征选择只设置需要选择的特征数量,然后该节点会根据目标字段列自动选择最相关的特征。 输入/输出 输入 一个输入端口,用于接收前置节点传下来的数据集。 输出 一个输出端口,用于输出接收到的数据集。 参数设置 参数名称 说明 备注 选择特征列 用于设置待选择的特征列(人工选择可能相关的特征列) 必填(特征列中不能含有null) 选择标签列 用于设置数据挖掘-PCA(主成分分析)
概述 PCA(主成分分析)是统计学上一种常用的方法,主要用来对高维数据进行降维,通过对多个维度进行线性组合,获得较少且能够描述数据特征的主成分指标,减少由于数据维度过多带来的庞大计算量,降低算法的复杂度,使用最少数量的主成分来解释最大量的方差。因为它可减少变量数目以此避免多重共线性,适用于预测变量较多大于观测值数目的情况。 输入/输出 输入 一个输入端口,用于接收前置节点传下来的数据集。 输出 一个输出端口,用于输出接收到的数据集。 参数设置 参数名称 说明 备注 选择特征列 用于设置待选择的特征列 必填(特征列中不能含有数据挖掘-特征离散
概述 特征离散的作用是将连续的数据进行等距离散化,就是把连续特征分段,每一段内的原始连续特征无差别的堪称同一个新特征,用户可以根据数据的特征自定义离散区间。 输入/输出 输入 没有输入端口 输出 一个输出端口,用于接入下一个节点,与抽取节点组合使用。 参数设置 参数名称 说明 备注 离散区间数 选择需要进行离散化的特征列,必须是数值列 必填范围是>=2的整数,默认为10 新增列后缀 离散后会生成新的字段,默认在原有字段名后追加Buckrizer后缀。该后缀支持修改。后缀默认值为Buckerizer数据挖掘-自定义离散
概述 将连续的属性进行离散化操作,方便数据挖掘处理。用户可自定义规则进行离散化操作。 输入/输出 输入 一个输入端口,用于接收前置节点传下来的数据集。 输出 一个输出端口,用于输出增加了离散后的字段的数据集。 参数设置 参数名称 说明 备注 自定义规则 区间:以英文逗号分隔离散区间,负无穷为-INF,正无穷为INF。 区间为空时,默认该字段不做离散处理。 必填。 区间填写示例:-INF,30,60, 90,INF 新增列后缀 离散后会生成新的字段,默认在原有字段名后追加Buckrizer后缀。该后缀支持修改⬝ 卸载SmartbiMPP高速缓存库
rpm安装包命令, --nodeps 忽略软件包依赖关系 ④ 关闭防火墙开放的 SmartbiMpp 相关端口: 关闭端口:9000,8123 firewall-cmd --zone=public --remove-port=9000/tcp --permanent firewall-cmd --zone=public卸载导出引擎
使用导出引擎过程中,如果需要卸载导出引擎服务,请参考以下方法: 1、Linux服务器卸载导出引擎 ①使用SSH工具登陆Linux服务器, ②进入导出引擎部署目录 ③运行导出引擎卸载脚本 ./unstall_SmartbiExport.sh 等待卸载完成即可。 ④关闭防火墙开放的导出引擎相关端口: 关闭端口:3003 firewall-cmd --zone=public --remove-port=3003/tcp --permanent 配置完以后重新加载firewalld,使配置生效 firewall-cmd --reload 如需重新部署导出引擎,可参考 部署Smartbi-Export 导出引擎 https数据挖掘-评分卡构建
概述 评分卡构建节点是评分卡模型的构建过程,用于把训练完成的逻辑回归模型转换为评分模型,具体转换规则可通过设置评分卡构建节点中的参数实现。 输入/输出 输入 两个输入端口,输入1接收训练好的逻辑回归模型,输入2接收WOE编码模型 输出 一个输出端口,用于输出训练后的评分卡模型 参数设置 参数名称 说明 备注 基础分 预设的初始分值 评分基准线 好坏比 基础分所对应的初始好坏比(好样本概率和坏样本概率的比例) 好坏比参数越大,评分变化幅度越大 PDO 好坏比翻倍对应提升的分值 取正值时,评分越高代表信用越好数据挖掘-SMOTE
概述 SMOTE算法通过对少数样本的分析可以合成新的样本,是一种过采样技术。 image2020-9-1_16-42-57.png 输入输出 输入 只有一个输入端口,用于接收原始数据集。 输出 只有一个输出端口,用于输出过采样后的全部数据集。 参数说明 设置SMOTE的参数: image2020-11-6_17-9-21.png 设置项说明如下: 参数 说明 备注 选择标签列 用于选择输入数据集的某一列作为标签列。 单选 标签类别 输入目标列中需要进行SMOTE算法的类别值。 文本框,标签的类别值(必填数据挖掘-标准化
概述 标准化数据使数据具有单位标准差归一化或平均数据中心化。 单位标准差归一化:将输入数据进行单位标准差归一化,使转换后的数据具有单位标准差; 平均数据中心化:将输入数据进行中心化,使转换后的数据均值为0。 如果某个特征的标准差为0,则该特征的返回结果也为0。 输入/输出 输入 没有输入端口 输出 一个输出端口,与抽取、变换节点组合使用 参数设置 参数名称 说明 备注 新增列后缀 用于设置在原字段名后追加后缀生成新的列,默认后缀为:Normalized; 必填 图片17.png 单位标准差归一化数据挖掘-相关性分析
概述 相关性分析是用来反映变量之间的相关关系的密切程度。相关系数的取值一般介于-1和1之间。当相关系数为正的时候,意味着变量之间是正相关的;当相关系数为负的时候,意味着变量之间是负相关。 相关性分析常用在数据探索阶段,当我们并不了解原始数据各字段之间的关系时,通过相关性分析,可以看到各个字段之间的相关性,其后进行的数据分析工作可以围绕这些相关性展开。 输入/输出 输入 一个输入端口,用于接收数据集。 输出 一个输出端口,用于输出相关系数的数据集。 参数设置 参数名称 说明 备注 选择列 用于选择进行相关性分析的字段列 必填