SCINet:Time Series Modeling and Forecasting with Sample Convolution and Interaction学习记录

SCINet称为样本卷积交换网络，是一个用于时间序列预测的神经网络模型，其是在Dilated casual convolution的基础上进行设计的，对于Dilated casual convolution，其特点如下：
该模型是在casual convolution上改进的：

因果卷积模型

要求对时刻t的预测只能通过t时刻之前的输入x1到xt-1来判别，使用mask来实现。
缺点：造成信息大量浪费，只能基于第一层的神经元进行计算，想要扩大数据范围就需要加深网络层数，但结果却差强人意，故而提出了膨胀卷积的模型（dilated convolution)。

膨胀卷积

可以看到其卷积核为33，但由于设定了膨胀率为2，我们的感受野于55的卷积核相同，即其能够在参数数量不变的情况下增大卷积核的感受野吧，进而提高数据的映射范围，同时还能保证特征映射（feature map）保持不变。
在一维时间序列中，其表现如下：

但这种情况还具有改进的空间，因为我们知道理论上随着网络深度的增加，其所能拟合的模型也就越复杂，效果也越好，但事实却并非如此，这是由于反向传播算法导致的梯度消失或爆炸问题，因此提出了残次神经网络的跳层连接方式：

这也就是Digital casual convolution
但其仍存在缺陷：
同一层中使用相同的卷积核，其倾向于提取平均时间特征，而在复杂的时间序列中，存在大量时间特征，这需要不同的过滤器去提取。
虽然TCN模型的最后一层有整个回溯窗口的全局视图，中间层的有效感受野（特别是靠近输入层的感受野）是有限的，导致特征提取过程中时间关系损失。