LSTM详解
LSTM是RNN的一种变种，可以有效地解决RNN的梯度爆炸或者消失问题。关于RNN可以参考作者的另一篇文章https://blog.csdn.net/qq_40922271/article/details/120965322
LSTM的改进在于增加了新的记忆单元与门控机制
改进
记忆单元
LSTM进入了一个新的记忆单元，用于进行线性的循环信息传递，同时输出信息给隐藏层的外部状态
。在每个时刻
，
记录了到当前时刻为止的历史信息。
门控机制
LSTM引入门控机制来控制信息传递的路径，类似于数字电路中的门，0即关闭，1即开启。
LSTM中的三个门为遗忘门，输入门
和输出门
控制上一个时刻的记忆单元
需要遗忘多少信息
控制当前时刻的候选状态
有多少信息需要存储
控制当前时刻的记忆单元
有多少信息需要输出给外部状态
下面我们就看看改进的新内容在LSTM的结构中是如何体现的。
LSTM结构
如图一所示为LSTM的结构，LSTM网络由一个个的LSTM单元连接而成。
图二描述了图一中各种元素的图标，从左到右分别为，神经网络（）、向量元素操作（
表示向量元素乘，
表示向量加），向量传输的方向、向量连接、向量复制
LSTM 的关键就是记忆单元，水平线在图上方贯穿运行。
记忆单元类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。
文章出处登录后可见！
已经登录？立即刷新
