数据挖掘-异常值处理

一个输入端口，用于接收数据集。

一个输出端口，用于输出异常值处理的结果。

选择字段

检测方法

• 四分位距：将数据按数值从小到大分成四等分，分隔点为Q1、Q2、Q3，四分位距则为上四分位值Q3与下四分位值Q1两者之差。
• 标准差法：假定数据是服从正态分布的，计算数据的标准差，对偏离标准差的数据进行处理如用均值、上下界数值、指定值替换。
• 自定义检测：可以自定义上下界，对异常值进行处理。

参数设置

• 四分位距：四分位距中下界的计算公式为Q1 - p * (Q3 - Q1）；上界的计算公式为Q3 + p * (Q3 - Q1）；公式中的p就是参数设置中的值，用户可以根据需求调整公式中的p，p需为非负数。
• 标准差法：标准差中下界的计算公式： 均值 - 系数 * 标准差；上界的计算公式： 均值 + 系数 * 标准差；公式中的系数就是参数设置中的值，同样的，系数的取值也需要为非负数。
• 自定义检测：自定义检测的参数为使用英文逗号分隔的上下界。如参数设置为“1,2”，则代表下界为1，上界为2。注意：上下界的值需要为数值型

处理策略

• 均值：检测出数据中的异常值后，用均值去替代异常值。
• 指定值：检测出数据中的异常值后，用指定值去替代异常值。当处理策略为指定值时，需要输入数值型数据
• 上下界：检测出数据中的异常值后，当异常值超出上界，用上界替换异常值；超出下界，用下界替换异常值。下界必须不大于上界，且均为数值型数据。
• 异常值处理：检测出数据中的异常值后，直接删除异常值所在的行。

自定义填充值

只有当处理策略选择“指定值”时，自定义填充值才允许编辑，用户可以自定义填充的指定值。

检测方法批量处理

处理策略批量处理