分类目录:《深入理解深度学习》总目录
考虑经过参数范数正则化的代价函数:
回顾《拉格朗日乘子法(二):不等式约束与KKT条件》我们可以构造一个广义Lagrange函数来最小化带约束的函数,即在原始目标函数上添加一系列惩罚项。每个惩罚是一个被称为Karush–Kuhn–Tucker乘子的系数以及一个表示约束是否满足的函数之间的乘积。如果我们想约束
数:
这个约束问题的解由下式给出:
解决这个问题我们需要对
这和最小化
作对权重强加的约束。如果
参考文献:
[1] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015
[2] Aston Zhang, Zack C. Lipton, Mu Li, Alex J. Smola. Dive Into Deep Learning[J]. arXiv preprint arXiv:2106.11342, 2021.
文章出处登录后可见!