本文作者李宏康，美国伦斯勒理工大学电气、计算机与系统工程系在读博士生，本科毕业于中国迷信技术大学。钻研方向包含深度学习实践，大言语模型实践，统计机器学习等等。目前已在 ICLR/ICML/Neurips 等 AI 顶会宣布多篇论文。
高低文学习 (in-context learning, 简写为 ICL) 曾经在很多 LLM 有关的运行中展现了弱小的才干，然而对其实践的剖析依然比拟有限。人们依然试图了解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的才干。
近期，一个来自美国伦斯勒理工大学和 IBM 钻研院的团队从优化和泛化实践的角度剖析了带有非线性留意力模块 (attention) 和多层感知机 (MLP) 的 Transformer 的 ICL 才干。他们特意从实践端证实了单层 Transformer 首先在 attention 层依据 query 选用一些高低文示例，而后在 MLP 层依据标签嵌入启动预测的 ICL 机制。该文章已收录在 ICML 2024。
背景引见
高低文学习 in context learning (ICL)
高低文学习 (ICL) 是一种新的学习范式，在大言语模型 (LLM) 中十分盛行。它详细是指在测试查问 (testing query)
前参与 N 个测试样本 testing examples (高低文)，即测试输入
和测试输入
的组合，从而导致一个 testing prompt:
，作为模型的输入以疏导模型作出正确的推断。这种形式不同于经典的对预训练模型启动微调的形式，它不须要扭转模型的权重，从而愈加的高效。
ICL 实践上班的停顿
近期的很多实践上班都是基于 [1] 所提出的钻研框架，即人们可以间接经常使用 prompt 的格局来对 Transformer 启动训练 (这一步也可以了解为在模拟一种简化的 LLM 预训练形式)，从而使得模型具备 ICL 才干。已有的实践上班聚焦于模型的表白才干 (expressive power) 的角度 [2]。他们发现，人们能够找到一个有着 “完美” 的参数的 Transformer 可以经过前向运算口头 ICL，甚至隐含地口头梯度降高等经典机器学习算法。然而这些上班不可回答为什么 Transformer 可以被训练成这样 “完美” 的，具备 ICL 才干的参数。因此，还有一些上班试图从 Transformer 的训练或泛化的角度了解 ICL 机制 [3,4]。不过，受制于剖析 Transformer 结构的复杂性，这些上班目前止步于钻研线性回归义务，而所思考的模型通常会略去 Transformer 中的非线形局部。
本文从优化和泛化实践的角度剖析了带有非线性 attention 和 MLP 的 Transformer 的 ICL 才干和机制：
实践局部
疑问形容
本文思考一个二分类疑问，行将
经过一个义务
映射到
。为了处置这样的一个疑问，本文构建了 prompt 来启动学习。这里的 prompt 被示意为：
训练网络为一个单层单头 Transformer：
预训练环节是求解一个对一切训练义务的阅历危险最小化 (empirical risk minimization)。损失函数经常使用的是适宜二分类疑问的 Hinge loss，训练算法是随机梯度降低。
本文定义了两种 ICL 泛化的状况。一个是 in-domain 的，即泛化的时刻测试数据的散布和训练数据一样，留意这个状况外面测试义务不用和训练义务一样，即这里曾经思考了对未见义务 (unseen task) 的泛化。另一个是 out-of-domain 的，即测试、训练数据散布不一样。
本文还触及了在 ICL 推断的时刻启动 magnitude-based pruning 的剖析，这里的剪枝形式是指关于训练获取的中的各个神经元，依据其幅值大小，启动从小到大的删除。
对数据和义务的构建
这一局部请参考原文的 Section 3.2，这里只做一个概述。本文的实践剖析是基于最近比拟炽热的 feature learning 路途，即通常将数据假定为可分（通常是正交）的 pattern，从而推导出基于不同 pattern 的梯度变动。本文首先定义了一组 in-domain-relevant (IDR) pattern 用于选择 in-domain 义务的分类，和一组与义务有关的 in-domain-irrelevant (IDI) pattern，这些 pattern 之间相互正交。IDR pattern 有
个，IDI pattern 有
个。一个
被示意为一个 IDR pattern 和一个 IDI pattern 的和。一个 in-domain 义务就被定义为基于某两个 IDR pattern 的分类疑问。
相似地，本文经过定义 out-of-domain-relevant (ODR) pattern 和 out-of-domain-irrelevant (ODI) pattern，可以描写 OOD 泛化时刻的数据和义务。
本文对 prompt 的示意可以用下图的例子来论述，其中
是 IDR pattern，
是 IDI pattern。这里在做的义务是基于 x 中的
做分类，假设是
那么其标签为 + 1，对应于 +q，假设是
那么其标签为 - 1，对应于 -q。α，α'区分被定义为训练和测试 prompt 中跟 query 的 IDR/ODR pattern 一样的高低文示例。下图中的例子外面，
实践结果
首先，关于 in-domain 的状况，本文先给了一个 condition 3.2 来规则训练义务须要满足的条件，即训练义务须要笼罩一切的 IDR pattern 和标签。而后 in-domain 的结果如下：
这里标明：1，训练义务的数量只有要在所有义务中占比到达满足 condition 3.2 的小比例，咱们就可以对 unseen task 成功很好的泛化；2，跟义务关系的 IDR pattern 在 prompt 中的比例越高，就可以以更少的训练数据，训练迭代次数，以及更短的 training/testing prompt 成功现实的泛化。
接上去是 out-of-domain 泛化的结果。
这里说明，假设 ODR pattern 是 IDR pattern 的线性组合且系数和大于 1，那么此时 OOD ICL 泛化可以到达现实的成果。这个结果给出了在 ICL 的框架下，好的 OOD 泛化所须要的训练和测试数据之间的外在咨询。该定理也经过 GPT-2 的试验获取了验证。如下图所示，当 (12) 中的系数和
大于 1 的时刻，OOD 分类可以到达现实的结果。与此同时，当
，即 prompt 中和分类义务关系的 ODR/IDR pattern 比例越高的时刻，所须要的 context 长度越小。
而后，本文给出了带有 magnitude-based pruning 的 ICL 泛化结果。
这个结果标明，首先，训练获取的
中有一局部（常数比例）神经元的幅值很小，而剩下的相对比拟大（公式 14）。当咱们只枝剪小神经元的时刻，对泛化结果基本没有影响，而当枝剪比例参与到要剪大神经元的时刻，泛化误差会随之清楚变大（公式 15，16）。以下试验验证了定理 3.7。下图 A 中浅蓝色的竖线示意训练获取的
出现出了公式 14 的结果。而对小神经元启动枝剪不会使泛化变差，这个结果符正当论。图 B 反映出当 prompt 中和义务关系的高低文越多的时刻，咱们可以准许更大的枝剪比例以到达相反的泛化功能。
ICL 机制
经过对预训练环节的描写，本文获取了单层单头非线性 Transformer 做 ICL 的外在机制，这一局部在原文的 Section 4。该环节可以用下图示意。
简而言之，attention 层会选用和 query 的 ODR/IDR pattern 一样的高低文，赋予它们简直所有 attention 权重，而后 MLP 层会重点依据 attention 层输入中的标签嵌入来作出最后的分类。
总结
本文解说了在 ICL 当中，非线性 Transformer 的训练机制，以及关于新义务和散布偏移数据的泛化才干。实践结果关于设计 prompt 选用算法和 LLM 剪枝算法有必定实践意义。
原文链接: