大型言语模型（LLMs）在人造言语处置（NLP）畛域促成了严重停顿，但它们也面临着诸如幻觉和须要特定畛域常识等应战。为了缓解这些疑问，最近的一些方法将从外部资源检索到的消息与LLMs相联合，清楚提高了它们在NLP义务中的体现，然而缺乏对检索增强型言语模型（RALM）片面概述。
因此，对包含检索增强生成（RAG）和检索增强了解（RAU），提供了对它们的范式、演化、分类和运行的深化、片面综述。
图1：RALM钻研总体概述
一、RALM是什么？
顺序单次交互：检索器找到与输入最关系的文档，而后言语模型接纳这些文档和输入，发生输入。
顺序屡次交互：在长对话生成和处置多跳疑问时，或者须要在言语模型和检索器之间启动屡次交互。
并行交互：检索器和言语模型独立上班，输入经过加权插值确定。
图2：检索器与言语模型交互的三种不同方式
图3：三种交互类型的路途图。紫色区域代表顺序交互 RALM 模型的上班，白色框示意顺序屡次交互 RALM 模型的上班，黄色区域批示并行交互RALM模型的上班。
二、检索器（Retriever）
检索增强言语模型（RALM）中检索器（Retriever）的作用和分类：
稠密检索（Sparse Retrieval）：依赖于便捷的术语婚配，如TF-IDF和BM25算法，实用于基于常识的检索义务。
密集检索（Dense Retrieval）：经常使用深度学习技术，经过双编码器架构生成密集的嵌入向量，以提高检索的准确性。
互联网检索（Internet Retrieval）：应用互联网搜查技术，准许非专业人士经常使用RALM，适宜开明畛域和泛化。
混合检索（Hybrid Retrieval）：联合不同检索技术的长处，以提高RALM架构的有效性和鲁棒性。
RALM上班中检索器的总结
三、言语模型（Language Model, LM）
检索增强言语模型（RALM）中言语模型（Language Model, LM）的作用和分类：
自编码器言语模型（AutoEncoder Language Model）：这类模型经过无监视学习来捕捉输入文本的关键特色，罕用于了解义务。
自回归言语模型（AutoRegressive Language Model）：这些模型旨在预测下一个词，基于前面的词，实用于生成义务，如对话生成和机器翻译。
编码器-解码器言语模型（Encoder-Decoder Language Model）：这类模型经常使用编码器-解码器架构来处置文本，实用于须要同时了解源文本和生成目的文本的义务。
RALM方法中的言语模型总结
四、增强组件（RALM Enhancement ）
如何经过增强组件来优化检索增强言语模型（RALM）的输入品质？
RALM增强方法的分类
五、数据源（Data Sources）
检索增强言语模型（RALM）中经常使用的经常出现数据源，并依据数据的结构化水平对它们启动了分类：
六、运行（Applications）
检索增强言语模型（RALM）在人造言语处置（NLP）中的各种运行：
RALM运行的分类
七、评价方法与基准（Evaluation）
检索增强言语模型（RALM）的评价方法和基准：
RALM中评价方法的总结
八、局限性与未来展望（Evaluation）
检索增强言语模型（RALM）目前面临的一些限度：
RALM模型的局限性和未来展望的总结
RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing
本文转载自，作者：