LSTM原理理解与学习

基本的

LSTM,长短期记忆 RNN,是 RNN 的变体,优点在于能学习长期依赖的信息,相当于有记忆功能。

LSTM原理理解与学习

LSTM 的关键就是细胞状态(cell state),水平线在图上方贯穿运行。细胞状态类似于传送带,直接在整个链上运行,只有一些少量的线性交互。信息在上面流传比较容易保持不变。

LSTM原理理解与学习

LSTM 有通过精心设计的称作为“门“的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个sigmoid神经网络层和一个按位的乘法操作。sigmoid层输出 0 到 1 之间的数值,该数值控制着多少量的信息可以通过。0 代表不允许任何信息通过,1 代表任何信息都可通过。

LSTM原理理解与学习

LSTM 拥有三个门,来保护和控制细胞状态。

第一个是遗忘门,它决定了哪些信息将从单元状态中丢弃。 LSTM原理理解与学习表示完全放弃,LSTM原理理解与学习表示完全保留。

LSTM原理理解与学习

然后是确定在单元状态中存储了哪些新信息。这里有两个部分。首先,称为“输入门层”的层sigmoid决定我们要更新哪些值。然后,tanh 层创建一个新的候选值向量。 LSTM原理理解与学习将状态添加。

LSTM原理理解与学习

然后是更新细胞状态。

LSTM原理理解与学习

最终,需要确定输出值LSTM原理理解与学习。这个输出将会基于当前的细胞状态,但是也是一个过滤后的版本。首先,运行一个sigmoid层来确定隐藏状态的哪个部分将输出出去。接着,把细胞状态通过tanh进行处理(得到一个在 -1 到 1 之间的值)并将它和sigmoid门的输出相乘,最终输出该部分。

LSTM原理理解与学习

因此,整个传播过程由以下公式表示:
LSTM原理理解与学习

参考:https://www.jianshu.com/p/9dc9f41f0b29

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2022年4月6日 下午1:19
下一篇 2022年4月6日 下午1:30

相关推荐