当天给大家引见一篇清华大学宣布于NIPS2024中的大模型期间序列预测上班AutoTimes,经常使用大模型启动自回归方式的期间序列预测,并结合In-Context Learning优化预测成果。
论文题目 :AutoTimes: Autoregressive Time Series Forecasters via Large Language Models
下载地址 :
背景
大模型在期间序列预测中的运行曾经有了一些钻研上班。之前的大模型时序预测,重要讲大模型当成一个表征抽取器,将期间序列对齐大模型表征空间后输入LLM,生成的编码经过映射获取预测结果。
但是,本文以为这种建模方法没有充沛应用大模型自回归的才干。因此,本文提出驳回自回归的方式将大模型运行到期间序列预测中。并结合NLP中的prompt、in-context learning等技术,优化大模型时序预测的成果。
成功方法
本文的建模方法重要可以分为时序消息处置、大模型预测、时序in-context learning三个局部。全体的建模流程图图所示。
时序消息处置 :LLM输入期间序列编码和位置编码两种类型的消息。关于期间序列,将其合成成多个不堆叠的segment,每个segment经过一个Embedding层映射成一个token embedding。关于每个期间步的详细消息,取每个片段最后一个期间戳的文本消息,间接用其对应的LLM文本编码作为position embedding。每个片段的序列编码和位置编码拼接到一同,作为LLM的输入。
大模型预测 :AutoTime全体建模驳回自回归的方式。期间序列消息输入到LLM后,LLM参数固定不变,生成segment对应的编码。而后经常使用一层网络,将每个segment的编码映射成期间序列值,经常使用MSE计算loss启动模型优化。训练义务驳回next item prediction的方式,循环的依据前面的时序token预测下一个时序token,和LLM的优化方式对齐。
时序In-context Learning :自创NLP中的In-context Learning思绪,文中在启动指标数据集的预测时,应用源数据集中的期间序列构建prompt,拼接到待预测的数据中。经过在源数据集中,抽取几对历史序列+未来序列数据,转换成token embedding后,拼接到样本前面,作为context消息,协助大模型对样本的预测。
试验成果
文中在短周期时序预测、长周期时序预测等义务上都启动了试验,取得了大模型时序预测方法中的最优成果,相比传统的PatchTST等建模方法也有长处。
文中也进一步验证了In-context Learning的成果。相比Zero-shot Learning,In-context Learning在引入例子作为prompt消息后,使得模型的预测成果取得了进一步优化。
经过case剖析也可以看出,In-context Learning的预测结果愈加准确。
本文转载自,作者: