页面树结构
转至元数据结尾
转至元数据起始

概述

梯度提升决策树原理是训练多棵CART分类树,每棵树建立是基于前一课树的残差,不断的迭代拟合前一课树的残差,通过损失函数的负梯度来拟合,直到残差达到最小。

示例

使用“银行零售客户流失”案例数据,包含17个特征列和1个二类的目标标签。需要对银行客户预测是否流失。通过数据预处理及模型训练,如下图:

其中,特征离散是将年龄、卡龄等数据离散化,是为了提高模型的准确度,提高运行速度。

模型构建中,梯度提升决策树的各个参数:

参数名称

说明

归一化

正则化

详情请参考 归一化 介绍说明。

标准化

最小最大值归一化

最大绝对值归一化

最大迭代数

取值范围:>=0的整数,默认值为30

算法的最大迭代次数,达到最大迭代次数即退出。

最大迭代次数的值越大,模型训练更充分,但会耗费更多时间。

分裂特征的数量

取值范围:>=2的整数; 默认值:32。

对连续类型特征进行离散时的分箱数;

该值越大,模型会计算更多连续型特征分裂点且会找到更好的分裂点,但同时也会增加模型的计算量;

树的深度

取值范围:[1,30]的整数;默认值为4。

当模型达到该深度时停止分裂;

树的深度越大,模型训练的准确度更高,但同时也会增加模型的计算量且会导致过拟合;

学习率

取值范围:(0,1]的数;默认为空。

收敛步长,其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。较小的步长意味需要更多的迭代次数。

学习率决定了参数移动到最优值的速度快慢。如果学习率过大,很可能会越过最优值;反而如果学习率过小,优化的效率可能过低,长时间算法无法收敛。

子采样比例

取值范围:(0,1]的数;默认为空。

对样本进行不放回的采样比例,取值为(0,1],取值小于1,则不使用全部样本去构建GBDT的决策树,小于1的比例,可减少方差,防止模型过拟合,默认是1,即不使用子采样。

最小分裂信息增益

取值范围:>=0的整数,默认值为空

这个值用来限制决策树的增长,如果某节点的信息增益小于这个阈值,则该节点不再生成子节点。

子节点最少样本数

取值范围:>=1的整数,默认值为空

这个值用来限制叶子节点最少的样本数,如果某叶子节点数目小于样本数,则会和兄弟节点一起被剪枝。

自动调参设置

系统默认的各项参数值范围。

必须结合“启用自动调参”功能使用。系统将对设置指定或范围内的参数值循环调参,匹配出最优的组合。详情请参考 自动调参设置

启用自动调参: 开启该项,则系统自动调参数,不需要用户手工设置参数。

自动调参设置

系统将对设置指定或范围内的参数值循环调参,匹配出最优的组合。

自动调参的方式分为两种:

  • 指定值调参:指定一个固定的值进行自动调参。
  • 范围调参:在指定的范围内进行自动调参。

设置项说明如下:

设置项说明
拆分比例将选择的数据拆分为两部分,一部分部分用于模型的评估,另一部分数据用于训练模型。
评估标准

用于选择数据的评估指标,包括:f1、precision、recall、accuracy、AUC(二分类)。

其中,评估标准“AUC(二分类)”仅对二分类问题生效。

参数自动调参的参数项。

指定值调参

指定值

指定一个固定的值进行自动调参。需要先勾选“是否使用指定值”才能配置。

是否使用指定值控制是否使用使用指定值进行调参。
范围调参范围

设置自动调参参数的范围。

若运行速度比较慢,可将参数范围调小一点。

步数

进行范围调参时,在设置的范围内生成多少个参数值。

示例:

1)范围为[3,5],步数为3时,生成的参数值:3, 4, 5

2)范围为[40,100],步数为4时,生成的参数值:40, 60, 80, 100