在最近的期间序列预测钻研上班中,有一类上班将图学习和期间序列联合了起来,从图学习的视角了解期间序列预测。这类上班中,一种是用图学习建模多变量间的相关,处置多元时序预测疑问;另一种是间接把期间序列中的各个期间步看成图中的一个节点,用图学习建模期间步之间的依赖相关。这篇文章汇总了近期4篇图学习视角处置期间序列预测疑问的上班。
ForecastGrapher
论文题目 :ForecastGrapher: Redefining Multivariate Time Series Forecasting with Graph Neural Networks
下载地址 :
本文从图学习的角度处置多元期间序列预测疑问,将每个变量当成图中的一个节点。
在iTransformer这篇上班中,将transformer作用到channel维度。这个环节其实很想图学习,将每个变量的序列先映射成一个表征,再相似graph attention network的方式计算图中两两节点之间的表征再融合。本文收到这个启示,提出用图学习的方法间接建模多变量期间序列,将多元时序预测疑问转换成了图回归义务。
全体模型分为时序表征和图学习两个局部。每个变量视为图中的一个节点,首先经常使用一个便捷的MLP网络,将一个变量的期间序列映射成一个表征向量。同时,将变量ID、日期特色也添加到表征中。在图学习阶段,一方面须要定义图中的临接矩阵,即各个节点之间的相关。这里经常使用的方法相似时空预测中的罕用方法,用节点embedding内积+激活函数智能学习两两节点之间的打分作为邻接矩阵。
在图模型局部,提出了Group Feature Convolution建模方法。在GCN的基础上,文中将每个变量的表征先扩大维度再分组,每个分组内用不同尺寸的CNN启动图学习。用这种多粒度的图学习方法,代替原始的图学习中固定的消息流传和会聚规定,让图学习环节学习愈加灵敏。最后,再经过一个可学习的权重,对不同分组的图学习表征启动融合,经常使用一个映射网络映射到预测结果。
论文题目:DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting
下载地址:
本文提出了一种多元期间序列建模中,融合channel dependent和channel independent的方法,**理路是经过聚类将多元期间序列分红多个类簇,以此挑选出具备相关的变量,再在每个类簇内经过经常使用channel dependent的建模方法,而类簇间经常使用channel independent的建模方法。
多元期间序列建模疑问中,channel dependent只管可以建模各个变量之间的消息,但是关于每个变量来说,也会引入一些有关变量,带来相关建模的噪声,造成成果不如channel independent。因此本文宿愿经过聚类的方式,提早开掘有相关相关的变量作为一个group,对group外部的变量启动channel dependent的建模,缩小有关变量噪声的搅扰。
详细的,文中**分为聚类和预测两个局部。在聚类局部,首先经常使用一个基于GRU的autoencoder,对期间序列启动编码,获取隐空间表征H。同时,初始化预先定义类簇数量的embedding,用H和这些类簇embedding计算相似度后,获取该变量序列应该被调配到哪个类簇。另外还有一路图聚类模型,这个模块间接应用GCN建模各个变量之间的相关,图邻接矩阵随机初始化。图聚类和自编码器表征聚类这两局部学习获取的聚类散布经过KL散度启动分歧性解放。在图聚类环节中会添加autoencoder生成的隐形态编码优化学习成果。全体的聚类经常使用Kmeans优化指标启动拟合。
另一局部是预测局部,预测局部基于transformer结构,在同一个序列的patch间,以及依据下面聚类结果启动变量序列间的建模。在变量间attention中,依据聚类结果设定mask,成功mask attention只建模同一聚类簇外部的变量间相关。
FourierGNN
论文题目:FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective
下载地址:
之前的多变量时序预测或许时空预测,都须要将期间序列建模和图学习融合起来,例如并行融合、串联融合等,在之前时空预测专题中启动过详细引见。但是这种方式,总出借是两种建模方式的拼接,不可充沛融合期间和空间的消息。
NIPS 2023的这篇文章,提出了一种一致的建模视角,将整个多元期间序列看成一个超图。超图是图的一个扩大,原始的图中,一条边只能衔接个点,而超图中,一条边可以衔接多个点。关于多元期间序列,每个时辰的每个变量都视为一个图上的节点,将同一个时辰的多个变量用一条边相连,期间维度相关也启动连边。最后,可以间接在这个超图上一致启动期间序列建模,文中驳回Fourier Graph Nerual Network成功一致建模。经过这种方式,将期间和空间消息融为同一种图方式,不再须要独立建模时空消息再启动融合,是一种纯图视角的建模。
论文题目:MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting
下载地址:
本文提出一种基于超图的长周期期间序列建模方法,**是为了同时建模不同scale之间和不同期间步之间的相关。期间序列的scale、temporal之间存在复杂的依赖相关,如何同时充沛建模二者之间的相关是一个难点。本文提出构建一个超图处置。
首先,底层经过多scale建模生成不同粒度的表征。经常出现的方法是,底层输入最细粒度的期间序列,而后逐层经常使用卷积+pooling的方式逐渐会聚,生成不同粒度的表征,每个scale每个期间窗口的表征可以视为图中的一个节点。接上去,构建3种类型的超图,区分是intra-scale、inter-scale、mixed-scale,各种超图区分衔接不同的节点汇合,以学习不同的依赖相关。Intra-scale重要用来学习scale外部的时序依赖相关,因此将同一个scale的必定相邻期间窗口内的节点用一个超边衔接。Inter-scale用来建设不同scale之间的相关,因此将相邻窗口的底层节点、这些节点公共的父节点等一个期间维度上不同scale的节点用超边衔接。
在建模环节中,驳回Tri-Stage Message Passing Mechanism启动消息传递,包含 node-hyperedge、hyperedge-hyperedge、hyperedge-node三个阶段,在超图上启动消息融合,区分成功节点到超边、超边到超边、超边到节点的消息会聚。
本文转载自,作者: