权重衰减
为了缓解过拟合问题，我们可以通过收集大量数据来解决过拟合现象。但这可能是昂贵的、耗时的，或者完全超出我们的控制范围，因此在短期内不可能做到。假设我们已经拥有尽可能多的高质量数据，我们可以专注于正则化技术。
在回归示例中，我们可以通过调整拟合多项式的阶数来限制模型的容量。限制特征的数量是减轻过拟合的常用技术。
标准和权重衰减
在此之前，我们已经描述了L2 范数和L1范数，在训练参数化机器模型时，权重衰减（Weight decay）时最广泛使用正则化的技术之一，通常也被成为L2正则化。
最常见的方法是将其范数作为惩罚项添加到最小化损失的问题中。原始训练目标使训练标签上的预测损失最小化，并进行调整以最小化预测损失和惩罚项的总和。
我们通过正则化常数 𝜆 来描述这种权衡，这是一个我们使用验证数据拟合的非负超参数：
对于 𝜆=0 ，我们恢复了原来的损失函数。 对于 𝜆>0 ，我们限制 ‖𝐰‖ 的大小。𝜆趋于无穷大时，w*趋于0。
通过平方 𝐿2 范数，我们去掉平方根，留下权重向量每个分量的平方和。 这使得惩罚的导数很容易计算：导数的和等于和的导数。
此处选择L2范数的原因：使用 𝐿2 范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。 这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。 在实践中，这可能使它们对单个变量中的观测误差更为稳定。 相比之下， 𝐿1 惩罚会导致模型将权重集中在一小部分特征上， 而将其他权重清除为零。
这里的意思主要就是看loss和penalty变化速度，w*就是二者的一个平衡点，往左下，loss变大的快，penalty的减少不足以弥补；往右上，penalty变大的快，loss的减少不足以弥补。
总结：
- 权重衰退通过L2正则使得模型参数不会过大，从而控制模型复杂度。
- 在正则化权重时控制模型复杂性的超参数。
代码
1.导入包
%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l
2.生成数据
我们选择标签是关于输入的线性函数。 标签同时被均值为0，标准差为0.01高斯噪声破坏。 为了使过拟合的效果更加明显，我们可以将问题的维数增加到 𝑑=200 ， 并使用一个只包含20个样本的小训练集。
n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5 #num_inputs特征维度
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)
从头开始实施
3.初始化模型参数
def init_params():
w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
b = torch.zeros(1, requires_grad=True)
return [w, b]
4.定义L2范数惩罚
def l2_penalty(w):
return torch.sum(w.pow(2)) / 2
5.训练
下面的代码将模型拟合训练数据集，并在测试数据集上进行评估。 从 :numref:chap_linear以来，线性网络和平方损失没有变化， 所以我们通过d2l.linreg和d2l.squared_loss导入它们。 唯一的变化是损失现在包括了惩罚项。
def train(lambd):
w, b = init_params()
net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss
num_epochs, lr = 100, 0.003
animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
xlim=[5, num_epochs], legend=['train', 'test'])
for epoch in range(num_epochs):
for X, y in train_iter:
# 增加了L2范数惩罚项，
# 广播机制使l2_penalty(w)成为一个长度为batch_size的向量
l = loss(net(X), y) + lambd * l2_penalty(w)
l.sum().backward()
d2l.sgd([w, b], lr, batch_size)
if (epoch + 1) % 5 == 0:
animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),
d2l.evaluate_loss(net, test_iter, loss)))
print('w的L2范数是：', torch.norm(w).item())
6.忽略正则化直接训练
我们现在用lambd = 0禁用权重衰减后运行这个代码。 注意，这里训练误差有了减少，但测试误差没有减少， 这意味着出现了严重的过拟合。
train(lambd=0)
7.使用权重衰减
下面，我们使用权重衰减运行代码。请注意，这里的训练误差增加了，但测试误差减少了。这正是我们对正则化的期望。
train(lambd=3)
简单的实现
由于权重衰减常用于神经网络优化，深度学习框架将权重衰减集成到优化算法中，以便与任何损失函数结合使用，以方便我们使用权重衰减。此外，这种集成具有计算优势，允许将权重衰减添加到算法中，而不会增加任何额外的计算开销。由于更新的权重衰减部分仅取决于每个参数的当前值，因此优化器必须至少接触每个参数一次。
在下面的代码中，我们在实例化优化器时直接通过weight_decay指定weight decay超参数。 默认情况下，PyTorch同时衰减权重和偏移。 这里我们只为权重设置了weight_decay，所以偏置参数 𝑏 不会衰减。
def train_concise(wd):
net = nn.Sequential(nn.Linear(num_inputs, 1))
for param in net.parameters():
param.data.normal_()
loss = nn.MSELoss(reduction='none')
num_epochs, lr = 100, 0.003
# 偏置参数没有衰减
trainer = torch.optim.SGD([
{"params":net[0].weight,'weight_decay': wd},
{"params":net[0].bias}], lr=lr)
animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
xlim=[5, num_epochs], legend=['train', 'test'])
for epoch in range(num_epochs):
for X, y in train_iter:
trainer.zero_grad()
l = loss(net(X), y)
l.mean().backward()
trainer.step()
if (epoch + 1) % 5 == 0:
animator.add(epoch + 1,
(d2l.evaluate_loss(net, train_iter, loss),
d2l.evaluate_loss(net, test_iter, loss)))
print('w的L2范数：', net[0].weight.norm().item())
[这些图表看起来与我们从头开始实施重量衰减时相同]。但是，它们运行得更快并且更容易实现。对于更复杂的问题，这种好处会变得更加明显。
train_concise(0)
train_concise(3)
概括
- 正则化是处理过拟合的常用方法：在训练集上的损失函数中加入一个惩罚项，以降低学习模型的复杂度。
- 权重衰减函数在深度学习框架的优化器中提供。
- 在同一个训练代码实现中，不同的参数集可以有不同的更新行为。
文章出处登录后可见！
