[动手学深度学习(PyTorch)]——丢弃法Dropout

正则化通过在模型损失函数中加入惩罚项,使学习到的模型参数值更小,这是处理过拟合的常用方法。

丢弃法(Dropout)是一种在学习的过程中随机删除神经元的方法。训练时随机选出隐藏层的神经元,然后将其删除。被删除的神经元不再进行信号的传递。

  • 一种有效抑制过拟合的正则化方法
  • 通常用来隐藏全连接层的输出
  • 训练时,每传递一次信号,就会随机选择要删除的神经元(丢弃法将一些输出项随机置为0来控制模型的复杂度)
  • 在测试过程中,虽然所有的神经元信号都会被传输,但是每个神经元的输出必须乘以训练时的删除率才能输出。
  • Dropout概率是控制模型复杂度的超参数

[动手学深度学习(PyTorch)]——丢弃法Dropout

Dropout实现:

Dropout随机删除了隐藏层的部分元素,所以输出层的计算无法过度依赖隐藏层的任一个,从而在模型训练时起到了正则化作用。

import torch
from torch import nn
from d2l import torch as d2l


def dropout_layer(X, dropout):
    assert 0 <= dropout <= 1
    # 在本情况中,所有元素都被丢弃
    if dropout == 1:
        return torch.zeros_like(X)
    # 在本情况中,所有元素都被保留
    if dropout == 0:
        return X
    mask = (torch.rand(X.shape) > dropout).float()
    return mask * X / (1.0 - dropout)

在模型训练的时候,Dropout层将以指定的丢弃概率随机丢弃上一层的输出元素。但是在测试模型中,Dropout不发挥作用

  • Dropout层放在全连接层之后
import torch.nn as nn


input_size = 28 * 28   
hidden_size = 500   
num_classes = 10    


# 三层神经网络
class NeuralNet(nn.Module):
    def __init__(self, input_size, hidden_size, num_classes):
        super(NeuralNet, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)  # 输入层到影藏层
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(hidden_size, num_classes)  # 影藏层到输出层
        self.dropout = nn.Dropout(p=0.5)  # dropout训练

    def forward(self, x):
        out = self.fc1(x)
        out = self.dropout(out)
        out = self.relu(out)
        out = self.fc2(out)
        return out
   

model = NeuralNet(input_size, hidden_size, num_classes)
model.train()
model.eval()

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
青葱年少的头像青葱年少普通用户
上一篇 2022年3月18日 下午6:17
下一篇 2022年3月18日

相关推荐