【周志华机器学习】五、神经网络之RNN

参考

  1. LeeML-Notes
  2. ML-NLP
  3. 递归神经网络

本博客根据参考资料做的笔记主要用于学习,非技术性博客,所以复制粘贴较多,敬请见谅。

1. 概念

RNN是在自然语言处理领域中最先被用起来的,比如,RNN可以为语言模型来建模。那么,什么是语言模型呢?

1.1 语言模型

语言模型:给定句子的前一部分,预测最有可能的下一个单词是什么。
例如,

我昨天上课开小差被老师发现了,老师批评了____。

我们向计算机显示句子中的第一个单词,然后让计算机写下一个单词。在这个例子中,下一个词最有可能是“我”,不太可能是“小明”甚至“吃”。

语言模型是对一种语言的特征进行建模,它有很多很多用处。比如在**语音转文本(STT)**的应用中,声学模型输出的结果,往往是若干个可能的候选词,这时候就需要语言模型来从这些候选词中选择一个最可能的。当然,它同样也可以用在图像到文本的识别中(OCR)。

1.2 RNN

循环神经网络(Recurrent Neural Network, RNN)是一类以序列(sequence)数据为输入,在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)

下图是一个简单的循环神经网络,例如,它由输入层、隐藏层和输出层组成:

【周志华机器学习】五、神经网络之RNN

如果把上面有W的那个带箭头的圈去掉,它就变成了最普通的全连接神经网络。x是一个向量,它表示输入层的值(这里面没有画出来表示神经元节点的圆圈);s是一个向量,它表示隐藏层的值(这里隐藏层面画了一个节点,你也可以想象这一层其实是多个节点,节点数与向量s的维度相同);U是输入层到隐藏层的权重矩阵;o也是一个向量,它表示输出层的值;V是隐藏层到输出层的权重矩阵。那么,现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x,还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

如果我们展开上图,循环神经网络也可以画成如下:

【周志华机器学习】五、神经网络之RNN

这个网络在t时刻接收到输入【周志华机器学习】五、神经网络之RNN之后,隐藏层的值是【周志华机器学习】五、神经网络之RNN,输出值是【周志华机器学习】五、神经网络之RNN。关键一点是,【周志华机器学习】五、神经网络之RNN的值不仅仅取决于【周志华机器学习】五、神经网络之RNN,还取决于【周志华机器学习】五、神经网络之RNN。我们可以用下面的公式来表示循环神经网络的计算方法

【周志华机器学习】五、神经网络之RNN
式1是输出层的计算公式,输出层是一个全连接层,也就是它的每个节点都和隐藏层的每个节点相连。V是输出层的权重矩阵,g是激活函数。式2是隐藏层的计算公式,它是循环层。U是输入x的权重矩阵,W是上一次的值【周志华机器学习】五、神经网络之RNN作为这一次的输入的权重矩阵,f是激活函数。

从上面的公式我们可以看出,循环层和全连接层的区别就是循环层多了一个权重矩阵 W。

可以发现,循环神经网络也是循环神经网络。

如果把式2反复代入式1,即:
【周志华机器学习】五、神经网络之RNN

从上面可以看出,循环神经网络的输出值受前面输入值【周志华机器学习】五、神经网络之RNN【周志华机器学习】五、神经网络之RNN【周志华机器学习】五、神经网络之RNN【周志华机器学习】五、神经网络之RNN的影响,这就是为什么循环神经网络可以期待任意数量的输入值。

1.3 双向RNN

前面介绍的 RNN 模型都假设当前时间步由一系列较早的时间步决定,因此它们都通过隐藏状态从前到后传递信息。有时,当前时间步长也可能由后面的时间步长确定。例如,当我们写一个句子时,我们可能会根据句尾的词来修改句首的词。双向循环神经网络通过添加从后向前传递信息的隐藏层来更灵活地处理此类信息。下图展示了具有单个隐藏层的双向循环神经网络的架构。

【周志华机器学习】五、神经网络之RNN

我们首先考虑上图中【周志华机器学习】五、神经网络之RNN的计算。

从上图可以看出,双向卷积神经网络的隐藏层要保存两个值,一个A参与正向计算,另一个值A’参与反向计算。最终的输出值【周志华机器学习】五、神经网络之RNN取决于【周志华机器学习】五、神经网络之RNN【周志华机器学习】五、神经网络之RNN。其计算方法为:

【周志华机器学习】五、神经网络之RNN
【周志华机器学习】五、神经网络之RNN【周志华机器学习】五、神经网络之RNN分别计算:
【周志华机器学习】五、神经网络之RNN
现在,我们已经可以看出一般的规律:正向计算时,隐藏层的值【周志华机器学习】五、神经网络之RNN【周志华机器学习】五、神经网络之RNN有关;反向计算时,隐藏层的值【周志华机器学习】五、神经网络之RNN【周志华机器学习】五、神经网络之RNN有关;最终的输出取决于正向和反向计算的加和。现在,我们仿照式1和式2,写出双向循环神经网络的计算方法:

【周志华机器学习】五、神经网络之RNN
从上面三个公式我们可以看到,正向计算和反向计算不共享权重,也就是说U和U’、W和W’、V和V’都是不同的权重矩阵。

1.4 深度循环神经网络

我们前面介绍的递归神经网络只有一个隐藏层,当然我们可以叠加两个以上的隐藏层,从而得到一个深度递归神经网络。如下所示:

【周志华机器学习】五、神经网络之RNN

我们把第i个隐藏层的值表示为【周志华机器学习】五、神经网络之RNN【周志华机器学习】五、神经网络之RNN,则深度循环神经网络的计算方式可以表示为:

【周志华机器学习】五、神经网络之RNN

2. 循环神经网络的训练算法:BPTT

BPTT算法是针对循环层的训练算法,它的基本原理和BP算法是一样的,也包含同样的三个步骤:

  • 向前计算每个神经元的输出值;
  • 反向计算每个神经元的误差项值,它是误差函数E对神经元j的加权输入的偏导数;
  • 计算每个权重的梯度。

最后,使用随机梯度下降算法更新权重。

【周志华机器学习】五、神经网络之RNN

2.1 前向计算

使用前面的式2对循环层进行前向计算:

【周志华机器学习】五、神经网络之RNN

我们假设输入向量x的维度是m,输出向量s的维度是n,则矩阵U的维度是【周志华机器学习】五、神经网络之RNN,矩阵W的维度是【周志华机器学习】五、神经网络之RNN。下面是上式展开成矩阵的样子,看起来更直观一些:
【周志华机器学习】五、神经网络之RNN注:元素的下标表示它是这个向量的第几个元素,它的上标表示第几个时刻。例如,【周志华机器学习】五、神经网络之RNN表示向量s的第j个元素在t时刻的值。【周志华机器学习】五、神经网络之RNN表示输入层第i个神经元到循环层第j个神经元的权重。【周志华机器学习】五、神经网络之RNN表示循环层第t-1时刻的第i个神经元到循环层第t个时刻的第j个神经元的权重。

2.2 误差项的计算

BTPP算法将第l层t时刻的误差项值【周志华机器学习】五、神经网络之RNN沿两个方向传播,一个方向是其传递到上一层网络,得到【周志华机器学习】五、神经网络之RNN,这部分只和权重矩阵U有关;另一个是方向是将其沿时间线传递到初始时刻【周志华机器学习】五、神经网络之RNN,得到【周志华机器学习】五、神经网络之RNN,这部分只和权重矩阵W有关。

用向量【周志华机器学习】五、神经网络之RNN表示神经元在t时刻的加权输入,因为:

【周志华机器学习】五、神经网络之RNN
所以:
【周志华机器学习】五、神经网络之RNN
我们用a表示列向量,【周志华机器学习】五、神经网络之RNN用表示行向量。上式的第一项是向量函数对向量求导,其结果为Jacobian矩阵:
【周志华机器学习】五、神经网络之RNN
同理,上式第二项也是一个Jacobian矩阵:

【周志华机器学习】五、神经网络之RNN
其中,diag[a]表示根据向量a创建一个对角矩阵,即

【周志华机器学习】五、神经网络之RNN
最后,将两者结合在一起,我们得到:
【周志华机器学习】五、神经网络之RNN

上式描述了将【周志华机器学习】五、神经网络之RNN沿时间往前传递一个时刻的规律,有了这个规律,我们就可以求得任意时刻k的误差项【周志华机器学习】五、神经网络之RNN

【周志华机器学习】五、神经网络之RNN
式3就是将误差项沿时间反向传播的算法。

2.3 权重梯度的计算

首先,我们计算误差函数E对权重矩阵W的梯度【周志华机器学习】五、神经网络之RNN

【周志华机器学习】五、神经网络之RNN

上图展示了我们到目前为止,在前两步中已经计算得到的量,包括每个时刻t 循环层的输出值【周志华机器学习】五、神经网络之RNN,以及误差项【周志华机器学习】五、神经网络之RNN。照下面的公式求出权重矩阵在t时刻的梯度:

【周志华机器学习】五、神经网络之RNN

我们已经求得了权重矩阵W在t时刻的梯度,最终的梯度是各个时刻的梯度之和:
【周志华机器学习】五、神经网络之RNN
同权重矩阵W类似,我们可以得到权重矩阵U的计算方法。
【周志华机器学习】五、神经网络之RNN
式8是误差函数在t时刻对权重矩阵U的梯度。和权重矩阵W一样,最终的梯度也是各个时刻的梯度之和:

【周志华机器学习】五、神经网络之RNN

3. 问题

3.1 为什么RNN 训练的时候Loss波动很大

由于RNN特有的memory会影响后期其他的RNN的特点,梯度时大时小,learning rate没法个性化的调整,导致RNN在train的过程中,Loss会震荡起伏,为了解决RNN的这个问题,在训练的时候,可以设置临界值,当梯度大于某个临界值,直接截断,用这个临界值作为梯度的大小,防止大幅震荡。

3.2 RNN的梯度爆炸和消失

RNN在训练中很容易发生梯度爆炸和梯度消失(由上一个问题可知),这导致训练时梯度不能在较长序列中一直传递下去,从而使RNN无法捕捉到长距离的影响。

为什么RNN会产生梯度爆炸和消失问题呢?我们接下来将详细分析一下原因。我们根据式3可得:

【周志华机器学习】五、神经网络之RNN

上式的定义【周志华机器学习】五、神经网络之RNN为矩阵的模的上界。因为上式是一个指数函数,如果t-k很大的话(也就是向前看很远的时候),会导致对应的误差项的值增长或缩小的非常快,这样就会导致相应的梯度爆炸和梯度消失问题(取决于【周志华机器学习】五、神经网络之RNN大于1还是小于1)。

通常来说,梯度爆炸更容易处理一些。因为梯度爆炸的时候,我们的程序会收到NaN错误。我们也可以设置一个梯度阈值,当梯度超过这个阈值的时候可以直接截取。

消失的梯度更难检测,也更难处理。一般来说,我们有三种方法来处理梯度消失问题:

  • 合理的初始化权重值。初始化权重,让每个神经元尽量不取最大值或最小值,避开梯度消失的区域。
  • 使用relu代替sigmoid和tanh作为激活函数。
  • 使用其他结构的RNNs,比如长短时记忆网络(LTSM)和Gated Recurrent Unit(GRU),这是最流行的做法。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2022年4月20日 下午6:28
下一篇 2022年4月20日 下午6:40

相关推荐