参考

LeeML-Notes
ML-NLP
递归神经网络

本博客根据参考资料做的笔记主要用于学习，非技术性博客，所以复制粘贴较多，敬请见谅。

1. 概念

RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？

1.1 语言模型

语言模型：给定句子的前一部分，预测最有可能的下一个单词是什么。
例如，

我昨天上课开小差被老师发现了，老师批评了____。

我们向计算机显示句子中的第一个单词，然后让计算机写下一个单词。在这个例子中，下一个词最有可能是“我”，不太可能是“小明”甚至“吃”。

语言模型是对一种语言的特征进行建模，它有很多很多用处。比如在**语音转文本(STT)**的应用中，声学模型输出的结果，往往是若干个可能的候选词，这时候就需要语言模型来从这些候选词中选择一个最可能的。当然，它同样也可以用在图像到文本的识别中(OCR)。

1.2 RNN

循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）

下图是一个简单的循环神经网络，例如，它由输入层、隐藏层和输出层组成：

如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）；U是输入层到隐藏层的权重矩阵；o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。那么，现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

如果我们展开上图，循环神经网络也可以画成如下：

这个网络在t时刻接收到输入之后，隐藏层的值是，输出值是。关键一点是，的值不仅仅取决于，还取决于。我们可以用下面的公式来表示循环神经网络的计算方法
：

式1是输出层的计算公式，输出层是一个全连接层，也就是它的每个节点都和隐藏层的每个节点相连。V是输出层的权重矩阵，g是激活函数。式2是隐藏层的计算公式，它是循环层。U是输入x的权重矩阵，W是上一次的值作为这一次的输入的权重矩阵，f是激活函数。

从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 W。

可以发现，循环神经网络也是循环神经网络。

如果把式2反复代入式1，即：

从上面可以看出，循环神经网络的输出值受前面输入值、、、的影响，这就是为什么循环神经网络可以期待任意数量的输入值。

1.3 双向RNN

前面介绍的 RNN 模型都假设当前时间步由一系列较早的时间步决定，因此它们都通过隐藏状态从前到后传递信息。有时，当前时间步长也可能由后面的时间步长确定。例如，当我们写一个句子时，我们可能会根据句尾的词来修改句首的词。双向循环神经网络通过添加从后向前传递信息的隐藏层来更灵活地处理此类信息。下图展示了具有单个隐藏层的双向循环神经网络的架构。

我们首先考虑上图中的计算。

从上图可以看出，双向卷积神经网络的隐藏层要保存两个值，一个A参与正向计算，另一个值A’参与反向计算。最终的输出值取决于和。其计算方法为：

和分别计算：

现在，我们已经可以看出一般的规律：正向计算时，隐藏层的值与有关；反向计算时，隐藏层的值与有关；最终的输出取决于正向和反向计算的加和。现在，我们仿照式1和式2，写出双向循环神经网络的计算方法：

从上面三个公式我们可以看到，正向计算和反向计算不共享权重，也就是说U和U’、W和W’、V和V’都是不同的权重矩阵。

1.4 深度循环神经网络

我们前面介绍的递归神经网络只有一个隐藏层，当然我们可以叠加两个以上的隐藏层，从而得到一个深度递归神经网络。如下所示：

我们把第i个隐藏层的值表示为、，则深度循环神经网络的计算方式可以表示为：

2. 循环神经网络的训练算法：BPTT

BPTT算法是针对循环层的训练算法，它的基本原理和BP算法是一样的，也包含同样的三个步骤：

向前计算每个神经元的输出值；
反向计算每个神经元的误差项值，它是误差函数E对神经元j的加权输入的偏导数；
计算每个权重的梯度。

最后，使用随机梯度下降算法更新权重。

2.1 前向计算

使用前面的式2对循环层进行前向计算：

我们假设输入向量x的维度是m，输出向量s的维度是n，则矩阵U的维度是，矩阵W的维度是。下面是上式展开成矩阵的样子，看起来更直观一些：
注：元素的下标表示它是这个向量的第几个元素，它的上标表示第几个时刻。例如，表示向量s的第j个元素在t时刻的值。表示输入层第i个神经元到循环层第j个神经元的权重。表示循环层第t-1时刻的第i个神经元到循环层第t个时刻的第j个神经元的权重。