页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 4 下一个 »

注意:(新特性列表中:+表示新增;^表示增强)

具体改进点如下:



+【数据挖掘】支持异常检测使用场景功能(CBLOF)


背景介绍

异常检测广泛应用在需要发现离群点的场景中如:欺诈检测、入侵检测等,在数据挖掘中属于经典的场景之一,因此将部分较为经典的异常检测算法通过spark进行分布式实现。

功能简介

CBLOF(Cluster-Based Local Outlier Factor,基于聚类的本地异常因子)是一个异常检测节点,原理是先用聚类算法把为数据分为K个簇,而后通过设定占比阈值和突降倍数阈值,把簇区分为大簇和小簇,聚类完成后,计算每个点到最邻近大簇的距离(邻近距离),邻近距离越大的数据点为异常数据的概率越大。

CBLOF算法适用于当没有已知正常的数据时,对所有输入的新数据进行异常值的辨别。

+【数据挖掘】支持异常检测使用场景功能(孤立森林)


背景介绍

异常检测广泛应用在需要发现离群点的场景中如:欺诈检测、入侵检测等,在数据挖掘中属于经典的场景之一,因此将部分较为经典的异常检测算法通过spark进行分布式实现。

功能简介

孤立森林是一个异常检测算法节点,需要配合特征选择、训练、预测节点使用(异常检测算法为无监督学习,不需要评估节点)。孤立森林对正常数据进行采样,训练时随机生成决策树对数据进行划分。在预测未知数据时,决策树划分出某单个数据点需要的划分次数越少,对应的异常分数越高,该数据点为异常数据的概率越大。

孤立森林适用于用已知为正常的数据作为训练数据,然后对未知的新数据作预测,检测新数据中的异常数据。

参考文档

详情请参考 数据挖掘 – LSH数据挖掘 – 相似集计算(LSH) 。


+【数据挖掘】增强特征工程(WOE)模型保存


背景介绍

旧的特征工程功能没有保存模型机制,导致用户需要手工记住参数来进行模型发布,因此新增支持类似WOE特征工程模型的保存机制。

功能简介

WOE编码节点和评分卡构建节点现在支持保存模型,保存的模型可以展示模型参数,以及再次使用进行预测。

新增了数据预测节点用于对特征工程模型(WOE编码模型、评分卡模型)进行预测,可以配合这些模型的保存功能,把已保存的模型接入数据预测节点对新数据进行预测。


+【挖掘】支持自定义调整节点目录结构


背景介绍

用户有时候想要调整挖掘实验里左侧节点树的目录结构。同时挖掘能够上传自定义节点,但是无法修改目录结构,导致上传的新节点有时候无法正确归类,因此需要能够支持自定义目录结构功能。

功能简介

用户可以根据需要以拖拽的方式调整节点目录中的文件夹顺序、节点顺序、节点归类等。上传的自定义节点也能在目录结构中调整。支持新建目录。

^【挖掘】关联规则和聚类支持模型自学习


背景介绍

旧的特征工程功能没有保存模型机制,导致用户需要手工记住参数来进行模型发布,因此新增支持类似WOE特征工程模型的保存机制。

功能简介

WOE编码节点和评分卡构建节点现在支持保存模型,保存的模型可以展示模型参数,以及再次使用进行预测。

新增了数据预测节点用于对特征工程模型(WOE编码模型、评分卡模型)进行预测,可以配合这些模型的保存功能,把已保存的模型接入数据预测节点对新数据进行预测。

  • 无标签