当天跟大家聊聊一个近期相对冷门的钻研点： Decoder中的预测期间步依赖疑问 。
目前干流的期间序列预测模型，Decoder普通驳回一个便捷的MLP网络，输入Encoder的表征，映射到预测结果。然而，这种建模方法并没有思考到各个预测期间步之间的相关，或许造成在预测阶段不满足期间序列的平滑性。
在更早的深度学习期间序列预测上班中，普通会将上一个时辰的预测结果或许实在结作为下一个时辰的输入，自回归的逐渐启动预测。这种建模方法，可以建设起各个预测期间步之间的相关，但同时也会引入诸如误差累积、训练和预测阶段不分歧等疑问。
当天这篇文章，就带大家了解一些Decoder这种思考预测结果依赖的建模方法，并引见2篇近期的上班，针对预测期间步依赖疑问启动优化。
Decoder中的预测期间步依赖
在Decoder中思考预测期间步依赖的建模方法中，可以分红2种类型，区分是Free Running和Teacher Forcing。
Free Running：Free Running在训练阶段输入实在值，在预测阶段因为不可失掉到实在值，就输入上一个时辰的预测值替代。这种方法的疑问在于，训练和预测存在不分歧疑问。为了处置这个疑问，一些方法在训练阶段以必定比例输入预测值，必定比例输入实在值，增加训练和预测的gap。或许经常使用一个权重，对预测值和实在值加权，或许添加噪声。
Teacher Forcing：另一种是在训练阶段输入上一个时辰侧预测值。这种方法在训练阶段和预测阶段是分歧的，然而疑问在于会存在误差累积疑问。预测结果随着期间步的增长越来越不准确，引入预测结果会逐渐累积误差，使模型成果变差。
引入辅佐模型缓解误差累积
为了缓解Teacher Forcing方法的误差累积疑问， Reinforced Decoder: Towards Training Recurrent Neural Networks for Time Series Forecasting（2024） 提出引入一个辅佐模型库，用辅佐模型库的预测结果，替代原来Teacher Forcing中正在训练模型的预测结果。经过这种模式，每个期间步的预测结果由外部模型发生，防止不时引入指标模型，随着期间步的增长，误差逐渐累积的疑问。
详细成功方法上，文中引入一个model pool，这个model pool内都是一些训练好的期间序列预测模型，经常使用这个model pool中模型的预测结果作为输入，而非正在训练的模型自身，这样就可以正在训练模型引入上一个时辰预测结果带来的误差累积疑问。同时为了进一步优化成果，文中驳回了一个强化学习的方法，每个时辰从model pool当选用最适合的预测结果作为输入，以预测成果为reward启动强化学习网络的训练，以此成功让指标模型成果最优的预测结果的选用。
间接解码中引入差分辅佐loss
相比于依赖上一个时辰的预估结果的递归解码方法，间接解码方法，即间接经常使用一个MLP将Encoder表征映射到预测结果，目前运行愈加宽泛，并且十分繁复高效。那么，是否在这种建模方法中，让模型建设起Decoder各个期间步之间的依赖呢？
TDT Loss Takes It All: Integrating Temporal Dependencies among Targets into Non-Autoregressive Time Series Forecasting（2024） 中就提出了这样一种建模方法。全体成功十分便捷，在原始的base模型基础上引入了一个损失函数度量预测结果之间的相关。文中引入的这个度量是差分结果，比如一阶差分结果，就是t时辰的预测结果减去t-1时辰的预测结果。这个度量的是相邻两个预测窗口值之间的大小相关。文中经过计算这个预测值的差分结果，和实在值的差分结果之间的误差，奇妙的将变量间的相关引入到模型的优化指标中，成功了在Non-autogressive的基础预估框架下，思考了预测结果之间的相关。同时，文中驳回了灵活权重，控制原始模型优化loss和新增loss之间的权重。
本文转载自，作者：