SCINet:Time Series Modeling and Forecasting with Sample Convolution and Interaction学习记录

SCINet称为样本卷积交换网络,是一个用于时间序列预测的神经网络模型,其是在Dilated casual convolution的基础上进行设计的,对于Dilated casual convolution,其特点如下:
该模型是在casual convolution上改进的:

因果卷积模型

在这里插入图片描述
要求对时刻t的预测只能通过t时刻之前的输入x1到xt-1来判别,使用mask来实现。
缺点:造成信息大量浪费,只能基于第一层的神经元进行计算,想要扩大数据范围就需要加深网络层数,但结果却差强人意,故而提出了膨胀卷积的模型(dilated convolution)。

膨胀卷积

在这里插入图片描述
可以看到其卷积核为33,但由于设定了膨胀率为2,我们的感受野于55的卷积核相同,即其能够在参数数量不变的情况下增大卷积核的感受野吧,进而提高数据的映射范围,同时还能保证特征映射(feature map)保持不变。
在一维时间序列中,其表现如下:

在这里插入图片描述
但这种情况还具有改进的空间,因为我们知道理论上随着网络深度的增加,其所能拟合的模型也就越复杂,效果也越好,但事实却并非如此,这是由于反向传播算法导致的梯度消失或爆炸问题,因此提出了残次神经网络的跳层连接方式:
在这里插入图片描述
这也就是Digital casual convolution
但其仍存在缺陷:
同一层中使用相同的卷积核,其倾向于提取平均时间特征,而在复杂的时间序列中,存在大量时间特征,这需要不同的过滤器去提取。
虽然TCN模型的最后一层有整个回溯窗口的全局视图,中间层的有效感受野(特别是靠近输入层的感受野)是有限的,导致特征提取过程中时间关系损失。
在这里插入图片描述

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
心中带点小风骚的头像心中带点小风骚普通用户
上一篇 2023年3月4日
下一篇 2023年3月4日

相关推荐