通过这篇博客，你将清晰的明白什么是分类的正则化。这个专栏名为白话机器学习中数学学习笔记，主要是用来分享一下我在 机器学习中的学习笔记及一些感悟，也希望对你的学习有帮助哦！感兴趣的小伙伴欢迎私信或者评论区留言！这一篇就更新一下《 白话机器学习中的数学——分类的正则化》

文章目录

• 一、分类的正则化
• 二、包含正则化项的表达式的微分

一、分类的正则化

在上一篇问文章中我们介绍了正则化，正则化是减少过拟合的有效手段。之前讨论的是回归的情况，对于分类也可以应用正则化，大家还记得逻辑回归的目标函数吗？也就是对数似然函数：

分类也是在这个目标函数中增加正则化项就行了，道理是相同的。

注意一下前面添加了负号，那么对数似然函数本来以最大化为目标。但是，这次我想让它变成和回归的目标函数一样的最小化问题，所以加了负号。这样就可以像处理回归一样处理它，所以只要加上正则化项就可以了。也就是说：反转符号是为了将最大化问题替换为最小化问题！
反转了符号之后，在更新参数时就要像回归一样，与微分的函数的符号反方向移动才行。目标函数的形式变了，参数更新的表达式也会变！不过，只要再把正则化项的部分也微分了就行。

二、包含正则化项的表达式的微分

在上面的的学习中，我们把回归的目标函数分成了 C(θ) 和 R(θ)。这是新的目标函数的形式，我们要对它进行微分。

因为是加法，所以对各部分进行偏微分：

C(θ) 是原来的目标函数，讲解回归的时候我们已经求过它的微分形式了。

求过就不用再求了，所以接下来只要对正则化项进行微分就行了。正则化项只是参数平方的和，所以它的微分也很好求。


可以看出，在微分时表达式中的 1/2 被抵消，微分后的表达式变简单了。那么最终的微分结果就是这样的:

剩下要做的就是把这个微分结果代入到参数更新表达式里去。