1 概述

数据挖掘项目实施过程中,部署模型的实际效果需要用真实业务数据进行跨期验证,而跨期验证的这个实验应该独立于训练模型(模型自学习)的实验。通过查看跨期验证实验中模型预测数据和真实业务数据的评估指标,在指标低于某个阈值时,执行模型自学习实验,当模型不满足指标条件则更新模型,完成模型的迭代。使用检查挖掘评估节点就可以完成这一场景的需求。

2 示例

在使用作业流中的检查挖掘评估节点,需要具备两个资源:挖掘资源和模型自学习资源

1、前置准备

1.1 建立挖掘资源

示例挖掘资源选择内置案例银行客户流失预测,实验流程如下图所示

建立批量预测实验资源银行客户流失批量预测,实验流程如下图所示。

1.2 建立模型自学习资源

基于上述建立的银行客户流失预测实验,点击工具栏中设置模型自学习按钮,建立模型自学习。

2、配置作业流

2.1 添加开始节点

拖入开始节点:运行作业流必须要以该节点作为起始节点。

2.2 添加检查挖掘评估

拖入检查挖掘评估节点:检查评估节点的某一评估指标是否满足指定条件,如果不满足条件,将触发相应的模型自学习,更新后的模型如果满足了指定条件则运行成功,否则执行失败。如图所示在执行检查挖掘评估节点时,首先检测银行客户流失批量预测的评估结果是否满足设置的评估条件accuracy>0.8,当检测满足要求则运行成功,否则就调度银行客户流失预测模型自学习任务更新模型,如果模型自学习任务无法满足条件,则运行失败。

2.3 查看运行情况

作业流检测挖掘评估成功。

作业流检测挖掘评估失败。

2.4 设置定时任务执行作业流

做好作业流保存,保存成功后,在作业流底部菜单设置定时任务,进行定时工作,如下图:

当作业流资源执行失败,会根据”失败重试机制“的 ”重试间隔“时间重新执行作业流;

如果执行失败可以发送消息给管理员.