基本的
LSTM，长短期记忆 RNN，是 RNN 的变体，优点在于能学习长期依赖的信息，相当于有记忆功能。
LSTM 的关键就是细胞状态（cell state），水平线在图上方贯穿运行。细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互。信息在上面流传比较容易保持不变。
LSTM 有通过精心设计的称作为“门“的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个sigmoid神经网络层和一个按位的乘法操作。sigmoid层输出 0 到 1 之间的数值，该数值控制着多少量的信息可以通过。0 代表不允许任何信息通过，1 代表任何信息都可通过。
LSTM 拥有三个门，来保护和控制细胞状态。
第一个是遗忘门，它决定了哪些信息将从单元状态中丢弃。 表示完全放弃，
表示完全保留。
然后是确定在单元状态中存储了哪些新信息。这里有两个部分。首先，称为“输入门层”的层sigmoid决定我们要更新哪些值。然后，tanh 层创建一个新的候选值向量。 将状态添加。
然后是更新细胞状态。
最终，需要确定输出值。这个输出将会基于当前的细胞状态，但是也是一个过滤后的版本。首先，运行一个
sigmoid层来确定隐藏状态的哪个部分将输出出去。接着，把细胞状态通过tanh进行处理（得到一个在 -1 到 1 之间的值）并将它和sigmoid门的输出相乘，最终输出该部分。
因此，整个传播过程由以下公式表示：
参考：https://www.jianshu.com/p/9dc9f41f0b29
文章出处登录后可见！
已经登录？立即刷新
