System 1和System 2的思想来自丹尼尔·卡尼曼（Daniel Kahneman）的《思索，快与慢》一书。外面引见了两种不同的认知处置形式。System 1极速、智能且直观，简直无需费劲即可操作。这种思想形式使人类能够依据形式和阅历做出极速决策和判别。相比之下，System 2是缓慢的、深思熟虑的和无看法的，须要无看法地致力。这种类型的思想用于复杂的疑问处置和剖析义务，在这些义务中须要更多的思索和思索。
上任务途中，人总是知道该走哪条路途，而无需无看法地思索。普通而言会智能走到地铁站，习气性地在同一个站点下车，而后在你的思路徘徊时走到你的办公室。如果某天地铁停了，那么就须要破费期间剖析其余任务路途，以便选用最快的一条。公交车在运转吗？外面温度如何？走路可行？叫车费用多少？两种状况的思想形式直观地表现了较慢的思想环节和刹时思想环节之间的差异。
在这篇钻研中，钻研人员探求了三种System 2方法——RaR、S2A 和 BSM，这些方法曾经完成提炼到新的LLM，这个新的模型与System 1相比，发生了更好的结果，而且老本低于System 2。但是这种方法是有局限性，只能实用于特定的义务或受限于模型训练的数据集。
大模型的业界曾经提出了一系列相关的System 2技术，包括思想链（COT）、思想树、思想图、分支处置兼并（BSM）、System 2 Attention（S2A）、Rephrase and Respond (RaR)等。得益于这种明白的推理，许多方法都显示出更准确的结果， 但这样做理论会带来更高的推理老本和照应提前。因此此类方法未在消费系统中经常使用，而大多经常使用了System 1。
上图为BSM的架构，先是分支，而后独立解读，最后兼并
关于人类来说， 学习将技艺从深思熟虑（System 2）转移到智能（System 1）的环节在心思学中被称为智能性，以及程序记忆的经常使用。例如，第一次性开车任务时，人们理论会破费无看法的致力来方案和做出抵达目的地的选择。而在驾驶员重复这条路途后，驾驶环节就会「编译」到潜看法中。
来自 Meta FAIR 的钻研者探求一种将System 2蒸馏到System 1的方法。经过在未标志的数据上运转System 2方法来搜集过滤的训练样本，而后经常使用额外的计算发生更高品质的输入。最后将这些蒸馏进去的训练数据用于训练System 1的LLM。
在两个盛行的基准上评价这种方法提出的模型，即OASST2和MT-bench。OASST2 验证集蕴含273个样本。MT-bench则用于评价LLM在充任有用的AI助手对话时的反响，它由8个不同畛域的指令组成，例如写作、推理、数学、编码等。这两个目的的评价还是相当不错。
而下表也提醒了钻研存在缺项，System 2蒸馏方法在各种解码超参数上的功能都很差。GSM8k义务（数学识题）须要一种十分不同的推理。这凸显了System 2蒸馏的关键方面：所提出的蒸馏算法在许多状况下都有效，但并非总是有效。这为未来的钻研留下了空间，以说明在哪些状况下应该运行蒸馏，以及何时不运行蒸馏。
本文转载自，作者：