LSTM详解

LSTM是RNN的一种变种，可以有效地解决RNN的梯度爆炸或者消失问题。关于RNN可以参考作者的另一篇文章https://blog.csdn.net/qq_40922271/article/details/120965322

LSTM的改进在于增加了新的记忆单元与门控机制

改进

记忆单元

LSTM进入了一个新的记忆单元，用于进行线性的循环信息传递，同时输出信息给隐藏层的外部状态。在每个时刻，记录了到当前时刻为止的历史信息。

门控机制

LSTM引入门控机制来控制信息传递的路径，类似于数字电路中的门，0即关闭，1即开启。

LSTM中的三个门为遗忘门，输入门和输出门

• 控制上一个时刻的记忆单元需要遗忘多少信息
• 控制当前时刻的候选状态有多少信息需要存储
• 控制当前时刻的记忆单元有多少信息需要输出给外部状态

下面我们就看看改进的新内容在LSTM的结构中是如何体现的。

LSTM结构

如图一所示为LSTM的结构，LSTM网络由一个个的LSTM单元连接而成。

图一

图二描述了图一中各种元素的图标，从左到右分别为，神经网络（）、向量元素操作（表示向量元素乘，表示向量加），向量传输的方向、向量连接、向量复制

图二

LSTM 的关键就是记忆单元，水平线在图上方贯穿运行。

记忆单元类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。