Boosting
- 思想:将多个弱模型组合成一个强的模型,减少偏差
- 按顺序学习多个模型
- 更关注 做的不好的样本
- 例子有:AdaBoost,gradient boosting
Gradient Boosting
-
拟合残差?
代码实现:
效果: -
非常容易过拟合,需要正则化,学习率控制小使得不那么容易过拟合
-
GBDT:Gradient Boosting Decision Trees
-
缺点:需要顺序训练,bagging可以并行训练
-
加速版本:XGBoost,lightGBM
总结: -
Boosting将多个弱模型组合在一起降低,偏差
-
Gradient boosting 拟合的是 残差?
参考资料
5.3 Boosting【斯坦福21秋季:实用机器学习中文版】
文章出处登录后可见!
已经登录?立即刷新