新2备用网址 新2备用网址 新2备用网址

时间序列预测的5种深度学习模型对比总结:从模拟统计模型到可预训练的无监督模型

时间序列预测在这两年发生了翻天覆地的变化,尤其是在Kaiming的MAE出现之后,现在时间序列模型也可以使用类似MAE的方法进行无监督预训练

Makridakis M-Competitions 系列(称为 M4 和 M5)分别于 2018 年和 2020 年举行(今年也举办了 M6)。对于那些不知道的人,m 系列游戏可以被认为是对时间序列生态系统现状的一种总结,为当前的预测理论和实践提供经验和客观证据。

2018 年 M4 的结果表明,纯“ML”方法的性能大大优于传统统计方法,这在当时是出乎意料的。在两年后的 M5 [1] 中,得分最高的只有“ML”方法。所有前 50 名基本上都是基于 ML 的(主要是树模型)。本次比赛见证了 LightGBM(用于时间序列预测)以及亚马逊的 Deepar [2] 和 N-Beats [3] 的首次亮相。N-Beats 模型于 2020 年发布,比 M4 比赛的获胜者好 3%!

最近的呼吸机压力预测竞赛证明了使用深度学习方法应对实时时间序列挑战的重要性。比赛的目标是预测机械肺内压力的时间顺序。每个训练实例都是自己的时间序列,所以任务是多个时间序列的问题。获胜团队提交了一个多层深度架构,其中包括 LSTM 网络和 Transformer 模块。

在过去的几年里,已经发布了很多著名的架构,比如 MQRNN 和 DSSM。所有这些模型都利用深度学习为时间序列预测领域贡献了许多新东西。除了赢得了Kaggle比赛,还给我们带来了更多的进步比如:

本文讨论了5个专门做时间序列预测的深度学习架构,论文分别是:

N-BEATS(ElementAI)

DeepAR(亚马逊)

时空形成者[4]

Temporal Fusion Transformer 或 TFT(谷歌)[5]

TSFormer(时间序列中的 MAE)[7]

N节拍

该模型直接来自(不幸的是)由 Yoshua Bengio 共同创立的 ElementAI 公司。顶层架构及其主要组件如图1所示:

唇腭裂序列治疗时间_时间序列长期预测模型_股市时间循环周期模型预测图

N-BEATS 是一种纯深度学习架构,基于深度堆叠的集成前馈网络,这些网络还堆叠有前向和反向互连。

每个 block 只对之前 backcast 产生的残差进行建模,然后根据这个误差更新预测。此过程在拟合 ARIMA 模型时模拟 Box-Jenkins 方法。

以下是该模型的主要优点:

富有表现力且易于使用:该模型易于理解,具有模块化结构,旨在要求最少的时间序列特征工程并且不需要缩放输入。

该模型具有泛化多个时间序列的能力。换句话说,可以使用分布略有不同的不同时间序列作为输入。在 N-BEATS 中时间序列长期预测模型,它是通过元学习实现的。元学习过程包括两个过程:内部学习过程和外部学习过程。内部学习过程发生在块内,并帮助模型捕获局部时间特征。外部学习过程发生在堆叠层中,帮助模型学习所有时间序列的全局特征。

Double Residual Stacking:残差连接和堆叠的思想非常巧妙,几乎每一种深度神经网络都会用到它。相同的原理应用于 N-BEATS 的实现,并进行了一些额外的修改:每个块都有两个残差分支,一个在回顾窗口中运行(称为 backcast),另一个在预测窗口中运行(称为 forecast)。

每个连续的块只对前一个块重建的反向广播产生的残差建模,然后根据这个误差更新预测。这有助于模型更好地近似有用的回推信号时间序列长期预测模型,而最终的堆栈预测预测被建模为所有部分预测的分层总和。正是这个过程模拟了 ARIMA 模型的 Box-Jenkins 方法。

可解释性:模型有两种变体,通用的和可解释的。在一般变体中,网络任意学习每个块的全连接层的最终权重。在可解释变体中,每个块的最后一层被删除。然后将反向预测和预测分支乘以模拟趋势(单调函数)和季节性(周期性循环函数)的特定矩阵。

注意:最初的 N-BEATS 实现仅适用于单变量时间序列。

深AR

结合深度学习和自回归特性的新型时间序列模型。图 2 显示了 DeepAR 的顶层架构:

唇腭裂序列治疗时间_股市时间循环周期模型预测图_时间序列长期预测模型

以下是该模型的主要优点:

来源链接: