LLM-Agent 大模型自动体热度绝后，但自动体是什么、为什么、怎样办，行业还没有一致认知，典型的小学语文课本里“小马过河”的事实版。
是什么
一、OpenAI 工程师Lilian Weng的定义 2023.6.23
布局
子指标和合成：将大型义务合成为更小的、可控制的子指标。
反思和改良：对过去的执前启动自我批判和自我反省，从失误中学习。
记忆
短期记忆：高低文学习都是应用模型的短期记忆来学习。
常年记忆：常年保管和回想消息的才干。
工具经常使用
调用外部API来失掉模型权重中缺少的额外消息。
二、复旦大学学者的调研总结 2023.9.19
大脑
Brain作为记忆和决策中心。
感知
Perception解释外部抚慰，从文本到更多模态的方式。
执行
Action执行来自“大脑”的选择。
三、NVIDIA 工程师Tanay Varshney的看法 2023.11.30
自动体**
**逻辑和行为特色的中央协调模块，或“关键决策模块”，包括
指标：蕴含总体指标和目的。
工具手册：可访问的一切工具的“用户手册”。
布局指南：不同布局模块的经常使用细节。
灵活记忆：推断时灵活填充与用户过去对话中最相关的记忆项。
角色(可选)：最终照应中注入典型的特质。
记忆
短期记忆：回答用户的单个疑问时所教训的执行和想法的账本。
常年记忆：用户和自动体之间出现的事情的执行和想法的账本。
工具
用来执行义务的定义良好的可执行上班流。
布局
义务和疑问合成
反思或批判
LLM大模型之前，Agent就有不少钻研，LLM 让这一设想有了更事实的或者。以上是往年影响面较大的三篇内容，其中有显著的期间线，反映了行业认知的继续深化。NVIDIA 工程师的版本更繁复明了。
为什么
一、幻觉，大模型天生或者一本正派的胡说。哈工大与华为学者的调研 2023.11.9
数据惹起
毛病数据源（失误消息与成见，常识边界）
数据应用无余（常识捷径，常识召回失败）
训练所致
预训练带来（架构毛病，次优训练指标）
对齐发生（才干错位，决计错位）
推理引入
毛病的解码战略（外在采样随机性）
不完美解码表征（高低文留意力无余，Softmax瓶颈）
二、前后左右不一的自分歧性 self-consistency
单视角横向自分歧性
单视角纵向自分歧性
同高低文，单条线，先后同输入的输入预期分歧
多视角纵横分歧性
不同高低文，多条线，先后同输入的输入，特定状况下预期分歧
三、记忆的短期性，高低文窗口限度
没有超出高低文窗口的记忆
只能“记住”给定的有限高低文中的内容，没有其余独立的记忆存储。
高低文窗口作为LLM的刹时记忆
齐全依赖于高低文窗口来失掉任何之前的消息。
怎样办
一、从LLM外部处置疑问的思绪，典型做法，检索辅佐生成RAG
模型应用从文档中检索到的相关消息辅佐生成环节。
附加常识库
为模型提供额外的消息输入，实用于常识密集型义务。
两个关键阶段
应用编码模型基于疑问检索相关文档，如BM25、DPR、ColBERT等方法。
经常使用检索到的高低文作为条件生成内容。
RAG局限
不实用于教会模型了解宽泛的畛域或学习新的言语、格局或格调。
微调技术
经过深入学习内化常识，适宜须要复制特定的结构、格调或格局。
二、解铃还须系铃人，从LLM外部系统性处置疑问的思绪
针对语料中的偏向与失误，语料的片面数据控制十分必要，既要丰盛详实，又要不偏不倚；放大算力提高模型精度，增强嵌入及后续训练的消息辨别度；
改良Transformer-Attention归一化算法，优化降落自在能损失，最大水平降落消息折损；自回归预测将受益于归一化优化，从而优化外部概率先验准确性；
构建重整化流的数学公式，推导出其流动的方向，并计算或者的不动点，从而借助新语料，对不动点做微扰，促成其进入更有序的相空间，成功可控的可预测的涌现；
RLHF训练联合揭示工程探求不同高低文有效揭示语，改良decoder模型，促成大模型外部采样经常使用Wasserstein距离作为概率散布近似的度量；
探测钻研外部环球模型结构，进而可以控制模型温度，指点灵活Bayes推理更贴切的采样概率散布，进一步亦可经过检索增强生成（RAG）成果，提高自分歧自评价才干。
三、内外兼修，多种概念架构层出不穷
伯克利学者增强高低文窗口 Context Window 的思绪
参与一个分层的外部高低文和相应控制配置函数。
LLM处置器以主高低文为输入，并输入由解析器解释的文本：输入或函数调用，函数调用在主高低文和外部高低文之间移动数据。
普林斯顿学者的上班也比拟有启示性
定义了一组交互模块和环节。
决策程序执行自动体的源代码。
此源代码由与 LLM (揭示模板和解析器)、外部存储器(检索和学习)和外部环境(Grounding) 交互的环节组成。
写在最后
逻辑上人脑包括两个关键系统：
系统1 担任抚慰照应，系统2担任深度思索。
大模型LLM配置目前相当于系统1，自动体Agent相似系统2。
两者相反相成，协同分歧，处置复杂疑问两者都无法或缺。
笔者偏向于从LLM外部处置现有疑问的思绪，三个关键点：
·Self-awareness，非自我看法，而是增强LLM对学到的范围的结构和相关的了解；
·范围内和跨范围采样改良，依据更好的“范围的结构和相关的了解”优化采样算法；
·构建外部上班空间，控制短中常年多档次记忆与范围交互，推理布局与经常使用工具；
参考文献
1.LLM Powered Autonomous Agents
2.The Rise and Potential of Large Language Model Based Agents: A Survey
3.Introduction to LLM Agents
4.A Survey on Hallucination in Large Language Models:Principles, Taxonomy, Challenges, and Open Questions
5.ENHANCING LARGE LANGUAGE MODELS IN CODING THROUGH MULTI-PERSPECTIVE SELF-CONSISTENCY
6.Survey of Hallucination in Natural Language Generation
7.Retrieval-Augmented Generation for Large Language Models: A Survey
8.Cognitive Architectures for Language Agents
9.
10.MEMGPT: TOWARDS LLMS AS OPERATING SYSTEMS
本文转载自，作者：