企业宣传,产品推广,广告招商,广告投放联系seowdb

时序预测中的多类型模型组合建模打算

期间序列建模中很多种类型的结构可以选用,比如Transformer、CNN、RNN,以及最近被验证有效的MLP、Mamba等结构。但是,不同模型都有特定的潜在长处和劣势。因此,如今越来越多的时序预测模型优化上班,驳回了多模型组合的建模方式。

当天这篇文章,就给大家引见一下多模型组合建模的**理路,以及几篇近期宣布的多模型组合时序预测上班,在一个模型中同时经常使用不同类型的模型结构,成功各个结构之间的长处互补。

早期模型组合建模打算

在Transformer运行到期间序列预测建模后,越来越多的模型组合方法被开掘并运行。例如RNN+Transformer、CNN+Transformer等结构。这关键是由于Transformer和CNN、RNN等模型可以成功比拟好的长处互补。Transformer的长处在于长周期的attention建模,但是由于其只经过位置编码失掉时序相关,对时序建模的才干并不强。而RNN、CNN则比拟长于时序数据的处置,但是关于长周期的建模才干较弱。因此,RNN/CNN配合Transformer的建模方法逐渐走进钻研者视线。

比如在 Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting 这篇文章中,在Transformer底层加一个CNN,应用CNN的序列建模才干让输入的时序样本点感知到高低文消息。Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting也是相似的思绪,在Transformer底层加一个RNN,将RNN的序列建模才干和Transformer的长周期建模才干结合起来。

除了CNN和RNN外,如今很多上班将MLP和Transformer结合在一同。MLP的作用和CNN十分相似,也是将单个样本点的消息,经过邻近点的全体编码,构成语义更强的时序表征,再输入到后续Transfomrer模型中。 PatchA Time Series is Worth 64 Words: Long-term Forecasting with Transformers 中提出的PatchTST就是这个建模思绪。

近期模型组合新上班

接上去给大家引见2篇近期的期间序列预测多模型组合上班。这两篇文章都融合了包含Transformer、CNN、RNN、Mamba、MLP等结构中的至少3个。

第一篇是 Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need 。这篇文章提出了一种多模型融合的建模方法,成功对期间序列长短期消息的综合应用。模型中引入了包含Mamba、Transformer、CNN等多种模型结构启动不同维度的期间序列消息抽取。

文中的**优化点包含2个方面,一个是在底层期间序列的patch处置上启动了优化,另一个是模型结构上的多种结构融合思绪。在patch处置上,将期间序列分红多个patch后,普通经常使用一个MLP启动映射,文中进一步经常使用MoA结构处置patch。MoA是一个多个子模块组成的patch消息处置器,每个子模块经常使用一个稠密门控网络,对表征的局部元素启动激活。经过多组这种子模块的融合,每一组成功不同类型pattern的消息提取,最后加到一同,作为patch的表征。

在模型结构方面,全体是Mamba->FFN->CNN->Transformer的组织方式。Mamba用来提取时序相关的基础消息,FFN参与非线性,CNN扩展每个patch的视线,Transformer最终启动长周期的期间序列建模。

第二篇是 PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting 。这篇文章提出了一种融合Transformer、RNN、CNN的期间序列预测模型,其中RNN+CNN用来启动每个变量期间序列的时序维度编码,Transformer用来启动变量间相关的建模,相似iTransformer的方式。

文中的**是RNN+CNN构建的档次时序编码网络。由于期间序列存在不同粒度的周期性,不同的粒度之间又存在相关着必定的相关。为了描写这种多频率消息,文中驳回了档次CNN的方式启动建模。关于每一层CNN,经常使用不同的kernel size和stride size,提取不同粒度的消息,并经过CNN起到了缩短序列长度的作用。

在启动每个档次的CNN编码后,每一层的CNN编码输入与上一层CNN编码融合后,输入到GRU中,应用GRU的时序建模才干编码每个粒度的序列。不同粒度的GRU编码结果最后经过加权融合的方式,生成每个变量期间序列的最终表征结果。

在失掉单变量的时序表征后,Transformer启动变量间相关建模。将每个变量期间序列的表征看成是一个token,经常使用self-attention在变量维度计算相关性并启动融合,相似iTransformer中的方式。

总结

组合模型是期间序列预测中的一个关键钻研疑问。没有一种模型结构可以完美处置期间序列预测面临的任何疑问,经过各类模型结构的组合,让各个模型成功长处互补,可以很大水平上优化期间序列预测模型的功能。

本文转载自​​,作者:

© 版权声明
评论 抢沙发
加载中~
每日一言
不怕万人阻挡,只怕自己投降
Not afraid of people blocking, I'm afraid their surrender