作者 | Priyanka Vergadia
编译|岳扬
大言语模型（Large Language Models ，LLMs）技术正飞速开展，尤其是模型在生成文本时能够处置的高低文消息量加快优化。虽然 LLMs 在文本的处置和生成等方面体现杰出，但它们却面临一个固有的应战：难以捕捉消息背景全貌，尤其是在应答简短对话或触及多重细节的复杂义务时。为了处置这一疑问，钻研人员引入了长高低文（Large context windows）和检索增强生成（Retrieval-Augmented Generation ，RAG）两种技术。这两种技术各有所长，选用哪种取决于详细的运行需求。上方，咱们将讨论为何优化模型的高低文了解才干如此关键。
高低文（Context）的关键性：
让咱们想象一下日常生存中的对话场景。要了解对方此刻的话语，咱们须要回忆之前的对话内容。如若大言语模型（LLMs）不足必要的高低文了解才干，在这方面或者会“头疼”。本文以为高低文十分关键，有如下几点理由：
01 长高低文（Large Context Windows）
长高低文让大言语模型（LLMs）在生成照应前能处置更多的文本消息。这说明 LLMs 可以一次性性掌握少量的数据和消息，从而更好地掌握全局，生成的模型照应也更能贴合对话主题。这关于那些须要深度了解对话历史或背景消息的义务尤其有用。不过， 处置海量文本会带来较高的计算老本，同时也会影响处置速度。
02 应用缓存优化长高低文技术的好处
在处置长高低文带来的计算累赘时，驳回缓存战略是一种有效的老本优化途径。缓存机制会保留已处置过的高低文消息，以便在遇到相似揭示词时能迅速调用，这一动作能够大幅缩短模型照应期间，尤其在口头重复性上班时成果清楚。
实例解析：想象一个专门用于总结学术论文的大言语模型。借助缓存配置，LLMs 能够存储之前剖析过的论文段落（如引言、试验方法等）。当接纳到一篇新论文，且其结构与以往处置过的论文相似时，模型便能间接调用缓存中的相翻开下文，仅需集中精神剖析翻新局部的内容（照试验结果和论断）。
不过， 启用缓存也会给系统引入额外的复杂度 。决策者必定掂量哪些消息值得缓存以及缓存期多长期间。此外， 缓存能否有效间接取决于揭示词的可预测性（predictability） 。若用户的揭示词内容变动多端，缓存的成果或者会大打折扣。
03 RAG：检索增强生成技术
RAG 技术能够清楚优化大言语模型（如 GPT-3 等）的准确度与牢靠性。其**在于将 LLMs 与外部常识库（如维基百科或企业外部文档）衔接，使得模型在生成照应前，能够先从这些常识库中检索并经常使用最相关的消息。相较于单纯依赖缓存长高低文的方法，RAG 的长处如下：
但是，RAG 技术的引入虽开拓了一条新门路，却也随同着较高的前期上班老本。RAG 系统的搭建与运维，需附丽于一套复杂的检索机制，该机制依赖向量搜查（vector search）及嵌入（embeddings）技术，以确保 LLM 能够高效失掉最为契合的消息资源。
04 RAG 对比长高低文：掂量与选用
长高低文（Large context windows）赋予 LLMs 间接处置海量历史消息的才干，尤其实用于须要启动深度剖析的复杂义务。但是，这种片面笼罩的模式计算老本较高，口头效率相对低下。RAG 则另辟蹊径，应用检索系统，从宏大的常识库中精挑细选出最相关的消息片段供应 LLM 经常使用。此举不只能够提速增效，还可以大幅节俭老本，并有效降落出错的危险。但须要留意的是，RAG 的高效运转需凭仗一套完善的数据检索体系，且初期部署较为繁琐。综上所述， 这个疑问的最优解应基于决策者对深度剖析才干、系统运转效率的要求。
决策指南概览：
总体而言，理想的技术战略应严密联合名目个性和可应用的资源数量。启动决策时，务必综合思考经常使用老本、准确性、部署运维难度以及揭示词内容的可预测性。宿愿本文能够协助各位读者准确了解 RAG 技术与长高低文技术间的实质区别，敬请关注本博客，不要错事先续精彩内容哦~
Thanks for reading!
Priyanka Vergadia
Head of North America Developer Advocacy @Google | Author | Technical Storyteller | Cloud Computing & AI | bio.link/pvergadia
原文链接：