大型言语模型（LLM）在系统级优化中的新停顿
近年来，大型言语模型（LLM）在处置复杂疑问的推理才干方面取得了清楚停顿，使其能够有效治理数千种工具和API调用。这些改良监禁了它们在大规模系统中的后劲，包括UI/网络界面、移动运行程序、SQL后端和远程感应平台。这些用途经过须要集成各种API来加载、过滤、处置和跨多个期间和空间维度可视化数据，表现了系统级的复杂性。
随着Copilots规模的扩展，底层堆栈的开支从云端点到本地口头设备都在参与，这促使咱们从基本上扭转设计基于LLM的大规模系统和软件的形式。但是，早期的系统优化关键针对简化的查问或定义良好的基准，或者不可捕捉系统级义务形式和数据依赖性的纤细差异。在事实的LLM上班负载中，数据显示出清楚的可重用性。例如，一个天文空间剖析师或者会问：“显示加州纽波特海滩周围的卫星图像。”随后的揭示是“如今，在这个区域检测飞机”，这展现了一个数据元素被重复访问的场景。
在这项上班中，咱们从相似于CPU缓存系统中观察到的期间和空间可重用性形式中吸取灵感，咱们引入了LLM-dCache，一种GPT驱动的缓存战略，用于优化LLM数据访问形式。咱们的关键直觉在于一种陈腐的设计选用，其中缓存治理无缝集成为LLM可用的工具之一，成功了与现有的函数调用机制和基线代理兼容的齐全GPT驱动的即插即用方法，同时施加最小的开支。经过在大规模天文空间平台上的评价，咱们证实了咱们的方法在不同的GPT和揭示技术中成功了LLM提前的缩小。咱们宿愿这些发现能处罚进一步探求赋予LLM其余系统级优化的或者性。
论文题目 ：LLM-dCache: Improving Tool-Augmented LLMs with GPT-Driven Localized> 机构 ：Microsoft Corporation, USA; Southern Illinois University, USA; University of Pittsburgh, USA
论文链接 ：
LLM-dCache的概念与设计动机
1. 从CPU缓存系统中失掉灵感
LLM-dCache的设计灵感起源于CPU缓存系统，特意是其对期间和空间可重用性形式的应用。在CPU缓存中，频繁访问的数据被存储在极速访问的配件中，以缩小数据检索期间和提高处置效率。相似地，LLM-dCache旨在经过缓存经常被从新访问的数据来优化大型言语模型（LLM）的数据访问形式，从而缩小提前并提高系统效率。
2. 针对大规模系统的缓存战略
在大规模系统中，如天文空间平台，数据的重用性清楚，例如在延续的查问中屡次访问相反的卫星图像数据。LLM-dCache经过将缓存操作集成为LLM可调用的API工具，使得缓存治理能够无缝地融入到LLM的操作中。这种设计不只顺应了大规模数据处置的需求，还经过缩小对主存储的访问需求，清楚提高了义务处置速度。
缓存操作的集成与成功
1. 缓存读取操作
在LLM-dCache中，缓存读取操作被设计为GPT的一局部决策环节。当LLM接纳到用户查问时，它会审核的缓存内容，并选择能否口头缓存加载工具。例如，假设用户恳求的数据曾经存在于缓存中，则LLM会间接从缓存中读取数据，而不是从新从数据库或其余存储系统加载。
2. 缓存降级战略
LLM-dCache驳回最近起码经常使用（LRU）战略作为关键的缓存降级战略，并经过GPT来灵活治理缓存降级。在每轮操作中，GPT依据的缓存形态和新的数据加载操作，选择如何降级缓存。这种战略不只优化了缓存的经常使用效率，还缩小了因缓存不命中而从新加载数据的须要。
3. GPT工具作为缓存操作的成功
将缓存性能作为GPT工具的一局部，简化了缓存操作的成功，并使其与平台有关。这种方法不只缩小了须要启动的更改，还准许LLM自主治理缓存操作，从而在产生缓存未命中时，LLM可以从新评价其工具序列，以实时纠正工具选用中的不准确性。这种灵活顺应性是系统优化中的关键。
试验设置与数据集
1. GeoLLM-Engine平台引见
GeoLLM-Engine是一个大规模的、可参数化的LLM引擎，专门用于处置天文空间义务。该平台设计用于捕捉代理性能，装备了常年多工具LLM操作，这些操作须要频繁地检索和过滤数据。平台还集成了一整套开源API、交互式地图用户界面、RAG和数据检索工具，领有超越110万张卫星图像。
2. 数据集的构建与特点
为了测试GeoLLM-Engine的性能，咱们扩展了GeoLLM-Engine采样器以失掉GeoLLM-Engine-1k数据集的变体。经过调整采样率参数，并参与控制数据重用或者性的参数，咱们选用性地采样了80%概率须要已在缓存中的数据的揭示，构建了一个蕴含1000个多步骤揭示的测试数据集（总共约50000个工具调用）。此外，咱们还预备了一个蕴含500个查问的小型数据集用于剖析。最后，咱们经常使用模型审核器模块来验证生成义务的性能正确性。
试验结果与剖析
1. 不同性能下的义务成功期间比拟
依据试验结果，LLM-dCache在不同性能下（包括GPT-4和GPT-3.5，以及Chain-of-Thought和ReAct技术，无论是少数样本还是零样本场景）平均能够将义务成功期间提高1.24倍（表I）。这标明缓存战略不会降落输入品质和代理的性能性，代理目的仍在既定的方差范畴内。
2. 缓存战略的有效性剖析
经过对不同的缓存战略（LRU、LFU、RR和FIFO）启动剖析，咱们发如今数据重用率高的状况下，不同战略之间的提前差异不清楚（表II顶部）。这标明数据重用形式而非模型选用或揭示战略是影响性能的关键起因。此外，咱们还启动了多个小型验证子集的剖析，每个子集蕴含500个查问，但具备不同的重用率，结果显示更高的重用率与更大的提前节俭相关。
经过将缓存操作作为GPT工具启动揭示，咱们的试验显示，GPT驱动的缓存操作在性能目的和提后方面与程序化缓存操作十分凑近，这证实了GPT成功口头系统优化义务的才干（表III）。这种方法展现了LLM在传统程序化处置方案之外，指点缓存治理的多性能性和后劲。
讨论：GPT驱动的缓存操作与传统编程成功的比拟
1. GPT驱动的缓存操作
GPT驱动的缓存操作，如LLM-dCache所示，经过将缓存操作作为可调用的API工具泄露给GPT，使其能够灵活地读取和降级缓存数据以响运行户查问。这种方法准许GPT在高低文揭示的协助下自主治理缓存操作，例如经过揭示解释LRU方案。这种集成形式使得缓存读取和降级操作成为GPT的决策环节的一局部，从而只有很少的更改。此外，赋予LLM对缓存决策的自主权还能够处置缓存未命中的状况：在性能调用失败时，LLM会被揭示从新评价其工具序列，就像处置任何其余工具选用错误一样。
2. 传统编程成功的缓存操作
传统的编程成功缓存操作理论触及间接在代码中硬编码缓存逻辑，如经常使用特定的缓存降级战略（LRU、LFU等）缓和存大小限度。这种方法在效率和牢靠性方面可以到达很高的规范，由于它间接控制了一切的底层操作，但它不足灵敏性，并且理论须要针对每个运行程序或系统启动定制。
3. 性能比拟
依据钻研，GPT驱动的缓存操作与传统编程成功的缓存操作在性能目的和提后方面十分相似，标明GPT能够成功口头系统优化义务。例如，GPT驱动的变体在缓存“命中率”和提后方面与齐全编程方法相婚配，后者可以被视为成果和牢靠性的下限。
限度与未来上班：扩展到更多系统级优化和其余计算环境
1. 限度
的钻研关键集中在云优先环境中的代理性能敌对均提前上，这触及到少量经常使用云端点。只管这为系统性能提供了必定的基准，但它限度了在不依赖云基础设备的环境中的运行宽泛性。此外，目前的成功关键关注天文空间数据，这或者限度了其在其余类型的数据密集型义务中的运行。
2. 未来上班
为了克制这些限度并进一步优化系统级优化的才干，未来的上班将探求将GPT驱动的缓存操作扩展到其余计算环境，如本地口头设备，这或者包括经常使用能够在本地运转的GPT代替品，如Llama-3和Phi-3.5。此外，方案将评价扩展到更宽泛的义务范畴，包括那些在最近的系统级LLM优化论文中思考的正交义务。
经过这些致力，宿愿能够进一步应用LLM启动系统级优化，以提高复杂数据密集型环境中的系统效率。
总结：LLM-dCache的奉献与系统级优化的后劲
在大型言语模型（LLM）的开展中，LLM-dCache的引入标记着一个关键的提高，它经过缓存机制优化了数据访问形式，清楚优化了系统效率。本章节将总结LLM-dCache的关键奉献，并讨论其在系统级优化中的后劲。
1. LLM-dCache的**奉献
LLM-dCache经过将缓存操作作为可调用的API工具集成到LLM中，使得大型言语模型能够自主治理缓存操作。这种设计不只缩小了对传统程序逻辑的依赖，还提高了缓存治理的灵敏性和效率。例如，在处置天文空间数据时，LLM-dCache能够依据数据的重用形式灵活调整缓存内容，从而缩小了数据加载期间并提高了义务成功速度。
2. 系统级优化的成功
经过将缓存操作嵌入到LLM的决策环节中，LLM-dCache有效地将系统优化的决策权下放给了言语模型自身。这一战略不只简化了系统设计，还提高了操作的灵敏性。在实践运行中，这象征着LLM可以依据的义务需求和数据形态，自主选择何时读取或降级缓存，从而优化全体的系统性能。
3. 优化义务处置速度和准确性
在多个测试场景中，LLM-dCache显示出了清楚的性能优化。例如，在天文空间平台上的评价显示，经过经常使用LLM-dCache，义务成功期间平均缩短了1.24倍。此外，缓存战略的优化还确保了在不同的模型和揭示技术中，输入的品质和性能性不受影响。
4. 对未来系统级优化的启发
LLM-dCache的成功实施为未来的系统级优化提供了新的思绪。经过进一步探求和扩展这种以LLM为中心的优化战略，咱们可以将其运行于更宽泛的义务和环境中，如灵活电压频率调整（DVFS）、**调配和热治理等。此外，这种战略的推行还或者促成其余非GPT工具增强型代理在不同计算环境中的无缝集成。
总之，LLM-dCache不只优化了大型言语模型在处置复杂数据义务时的效率和灵敏性，还展现了应用LLM启动系统级优化的渺小后劲。随着技术的进一步开展，咱们等候看到更多基于LLM的系统优化处置方案的产生。
本文转载自，作者：