论文解读 ——TimesNet 模型

论文解读 ——TimesNet 模型

论文一:TEMPORAL 2D-VARIATION MODELING
FOR GENERAL TIME SERIES ANALYSIS
论文:

https://openreview.net/pdf?id=ju_Uqw384Oqtu

文章解读

本文是2023年2月ICLR发表出来的一篇关于深度学习的预测模型,该模型围绕时序变化建模展开,设计提出了时序基础模型TimesNet,在长时、短时预测、缺失值填补、异常检测、分类五大任务上实现了全面领先。(这点就比较夸张了,看图)
在里插入图片描述
粉色部分代表TimesNet模型在5大领域均处于领先水平。

理论部分

先看图
FFT
这张图表示 利用傅里叶变换(FFT)求时序序列周期,然后按照求得的不同周期进行分解(下面简单讲解一下)

这张图中可以看出,一个线性序列可以转换成两个正弦函数,然后分别求这俩正弦函数的周期和幅度,一个2Hz,一个3Hz。
对于任意一个序列,利用FFT将其转换为多组三角函数的组合,然后求出所有三角函数的周期的最小共倍数。

如上图所示,将其按照不同的频率进行切割,这样就将一维时序序列边成了多张二维张量。

这里呢,有一个比较巧妙的设计,就是整个模型的运算过程中,其实是一维变成二维,再又二维又变成一维的过程,但是中间保留了周期内及周期间的特征。如下图为整体模型部分:

整个模型和nbeats 长得很像。该模型也是有一个一个的timesblock 模块构成。

公式推导


公式(1)FFT(.)代表求对应序列的频率f (f的取值范围由1到2/T), Amp (.) 表示求频率对应的周期幅度p,Avg(.)文中表示说是(which is averaged from C dimensions by Avg(·) )我理解的意思是说,首先对应C组(多组时序序列),每组时序序列都可用FFT求出一组对应的pi(周期幅度)出来。这里的平均值,不是说所有的相加求平均,而是求多组序列里面的共同周期幅度(均有的)(也包括最小公倍数的形式)

公式二表示确定的频率和对应的周期长度

公式三中 pi fi 表示二维张量的行数和列数

如上图所示,TimesNet由堆叠的TimesBlock组成。输入序列首先经过嵌入层得到深度特征。

(1)一维变换至二维:首先对输入的一维时序特征提取周期,并将之转换成为二维张量来表示二维时序变化。
(2)提取二维时序变化表征:对于二维张量,由于其具有二维局部性,因此,我们可以使用2D卷积提取信息。在这里,我们选取了经典的Inception模型。

https://arxiv.org/pdf/1512.00567v3.pdf

inception v1网络
(3)二维变换至一维:对于提取的时序特征,我们将其转化回一维空间以便进行信息聚合。这里选择的是Adaptive aggregation,我们将得到的一维表征以其对应频率的强度进行加权求和,得到最终输出。
https://arxiv.org/pdf/2106.13008.pdf

实验部分

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2023年5月19日 下午9:43
下一篇 2023年5月19日

相关推荐