内容

1. 什么是升降树

2. 提升树模型

3. 提升树算法

3.1 分类提升树

3.2回归提升树

四、提升树示例

以上均参考李航老师的《统计学习法》。如果博客有不足之处，请指教！ ！ ！

1. 什么是升降树

提升树（BT,Boosting Tree）是以分类树和回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。

使用决策树作为基函数的提升方法称为提升树。

2. 提升树模型

Boosting 方法采用了一个加法模型（即，基函数的线性组合）和一个向前逐步的方法。

分类问题的决策树是二分类树，回归问题的决策树是二元回归树。

提升树模型可以表示为决策树的加法模型：

3. 提升树算法

那么具体是怎么计算的呢？

首先，提升树算法采用前向分步算法，确定出是提升树f0(x)=0,第m步的模型是：

3.1 分类提升树

分类提升树可看作AdaBoost算法的特殊情况，后续将在AdaBoost中详细介绍。

3.2回归提升树

已知一个训练数据集T={（Xi,Yi),i=1,2,3…..n}，X为输入，Y为输出。如果将X划分为J个互不相交的区域R1,R2,R3,…Rj，并且在每个区域上确定输出的常量Cj，那么树可表示为：

四、提升树示例

5. 梯度提升

提升树利用加法模型与前向分步算法实现的优化过程。当损失函数是平方损失和指数损失函数时，每一步优化是很简单的。但对一般损失函数而言，每一步优化并不容易，Freidman提出了梯度提升算法。

在当前模型的值上利用损失函数的负梯度

拟合回归树作为回归问题增强树算法残差的近似值。