1. 绪论
降水预测的时间紧迫和准确要求比传统天气预报任务（如周平均温度预报）要求更高。
本质上，降水预测是时空序列预测问题，以过往的一系列雷达图作为输入，输出固定数量（>1）的一组将来的雷达图预测。
本文提出全新卷积LSTM（ConvLSTM）网络用于降水预测。
2. 前文
2.1 降水预测问题抽象
用一个M×N矩阵表示平面空间，每个小格中以P表示随时间变化的变量。观察即可以张量
表示。
记录观察到的张量
，基于观测到的J个状态，计算接下来长度为K的时空序列：
将二维图像转化为三维张量。
2.2 长短期记忆（LSTM）用于序列建模
对于一般的目标序列建模，作为特殊的RNN结构，LSTM已被过往研究证实可以稳定有效建立长时间模型。LSTM的创新之处在于它的记忆单元（memory cell）ct可以理解为是状态信息的累加器。
使用记忆单元和门控制可以使得梯度限制在节点内，防止过快消失，解决了经典RNN面临的一大问题。全连接LSTM（FC-LSTM）可以看作是LSTM的多变量版本，输入、节点输出和状态均为一维向量。本文FC-LSTM模型参考[A. Graves. Generating sequences with recurrent neural networks. arXiv preprint arXiv:1308.0850, 2013.]，关键方程如下，“o”表示哈达玛积：
附：[1308.0850] Generating Sequences With Recurrent Neural Networks (arxiv.org)
3. 模型
FC-LSTM对于空间数据显得过于重复。通过叠加多层ConvLSTM层，建立网络不仅可以解决降水预测，亦可以进一步应用于更多一般时空序列预测问题。
3.1 卷积LSTM
全连接LSTM的弱点在于处理时空数据，在输入到状态层和状态到状态层间使用全连接导致空间信息未被编码。为解决这一问题，作者将ConvLSTM中所有输入x1，……，xt，输出c1，……，ct，隐藏状态h1，……，ht，以及it、ft、ot门设计为三维张量，后两个维度是空间分布。ConvLSTM中某一个网格中未来的状态取决于输入和它周边网格的状态，这容易通过卷积操作实现。见下图：
ConvLSTM方程如下，“*”表示卷积操作，“o“表示哈达玛积。
附：
【图文并茂】RNN、LSTM、GRU、ConvLSTM、ConvGRU、ST-LSTM的总结_风度78的博客-CSDN博客
3.2 编码-预测结构
如同FC-LSTM，ConvLSTM也可被视为是复杂结构的组成单元。文章中的时空序列预测问题采用如下图的结构。其由两个网络组成，一个编码网络和一个预测网络。预测网络的初始状态和单元输出复制于编码网络的上一个状态。两个网络都由几个ConvLSTM层堆叠而成。由于预测目标与输入维度相同，故将预测网络中的状态进行拼接，输入到1×1卷积层，以生成最终预测。
此结构也可理解为，编码LSTM将整个输入序列压缩成隐藏状态张量，预测LSTM将隐藏状态解压，给出最终预测：
该网络拥有多个堆叠的ConvLSTM层，具有强大的表示能力，适用于复杂的动态系统预测，如本文的降水预测问题。
4. 实验
5. 结论和未来工作
未来将进一步研究如何将ConvLSTM应用于视频动作认知。初步想法是将ConvLSTM置于CNN生成的空间特征图上，使用ConvLSTM的隐藏状态用于最终的分类。
文章出处登录后可见！
