现有的RAG打算 没有专一于须要检索多个具备清楚不同内容的文档的查问 ，这类查问经常发生，但应战在于这些文档的嵌入或者在嵌入空间中距离很远，难以所有检索。
因此，提出一种多头检索增强生成方法（ MRAG：Multi-Head RAG ），它的关键思维是应用Transformer解码器的多头留意力层的激活，而不只仅是前馈层，来生成嵌入。不同的留意力头可以捕捉数据的不同方面，因此经常使用这些激活发生的嵌入能更好地示意文档和查问的各个方面。
MRAG经常使用最后一个标志的每个留意力头的输入作为一组“ 双方面 ”嵌入。这些嵌入的完整汇合构成了“ 多方面 ”嵌入。关键的是，这与仅经常使用最终解码器层输入的规范RAG相比，不须要额外的空间。
解码器架构的概述 ，以及规范RAG和多头RAG嵌入生成模式的比拟。
MRAG（多头RAG）流程的概述 ，由两局部组成： 数据预备A和查问口头B 。嵌入模型C和数据存储D被这两局部经常使用。数据存储D蕴含指向反映三种不同方面（青色、品白色、黄色）的文本块的文本嵌入。带有星号标志的块是这项上班的新特点。
多头检索增强生成（Multi-Head RAG, MRAG）流程的概述：
用于评价不同RAG战略的示例查问 。文本中要失掉的文档，而后评价不同RAG战略在找到这些文档及其类别方面的完成率。标志了 准确文档婚配 、 类别婚配 、 屡次婚配类别 的文档，以及没有婚配文档的文本段。最后，展现了每种战略的加权完成率，驳回2:1的加权（优先思考准确文章婚配）。
提供了评价方法和目的、分解数据集和事实环球用例来展现MRAG的有效性， 显示出在关系性方面比规范RAG基线提高了高达20% 。
MRAG（多头RAG）和规范RAG在25个查问中的检索完成率比拟，每个查问蕴含10个不同的方面。 上半局部展现了准确文档婚配，而下半局部展现了仅类别婚配（咱们在第3节中解释了经常使用的度量规范）。为了展现25个查问中具体的散布状况，为一个特定样本出现了直方图（每个查问失掉的文档数量为30）。MRAG在准确文档婚配的检索完成率上一向优于规范RAG（ 平均提高了超越10% ）。在类别婚配上的检索功能优化更为清楚（ 平均提高了超越25%的检索完成率 ）。
MRAG相关于规范RAG在不同数量方面和不同嵌入模型的查问中的相对检索改良10-20%（左侧为SFR，右侧为e5）。
在多方面数据集、法律数据集和意外数据集上的试验标明，MRAG在检索完成率上优于规范RAG和Split RAG。
在构建法律文件（左）和发现工业意外要素（右）这两个实在环球上班负载中，MRAG和Split RAG相关于规范RAG在检索完成率上的平均优化。
经过对不同解码器块的嵌入和不同投票战略的剖析，证实了MRAG设计和决定的正当性。
对MRAG和Split RAG的不同投票战略的评价
RAG: Solving Multi-Aspect Problems with LLMs本文转载自 PaperAgent