5.3 Boosting【斯坦福21秋季:实用机器学习中文版】

Boosting

  • 思想:将多个弱模型组合成一个强的模型,减少偏差
  • 按顺序学习多个模型
  • 更关注 做的不好的样本
  • 例子有:AdaBoost,gradient boosting
    5.3 Boosting【斯坦福21秋季:实用机器学习中文版】

Gradient Boosting

  • 拟合残差?
    5.3 Boosting【斯坦福21秋季:实用机器学习中文版】
    代码实现:
    5.3 Boosting【斯坦福21秋季:实用机器学习中文版】
    效果:

  • 非常容易过拟合,需要正则化,学习率控制小使得不那么容易过拟合

  • GBDT:Gradient Boosting Decision Trees

  • 缺点:需要顺序训练,bagging可以并行训练

  • 加速版本:XGBoost,lightGBM
    5.3 Boosting【斯坦福21秋季:实用机器学习中文版】
    总结:

  • Boosting将多个弱模型组合在一起降低,偏差

  • Gradient boosting 拟合的是 残差?

参考资料

5.3 Boosting【斯坦福21秋季:实用机器学习中文版】

文字版快速回顾

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2022年6月13日 下午12:35
下一篇 2022年6月13日 下午12:38

相关推荐