嘉宾丨薛磊
撰稿丨诺亚
出品 | 技术栈（微信号：blog51cto）
本文整顿自九章云极DataCanvas资深算法工程师薛磊在WOT2024大会上的主题分享，。
在AI技术突飞猛进的当下，智能体（Agent）技术正迅速崛起，成为AI畛域的一大热点。Agent技术在各行业运行场景中体现出渺小后劲，但是随同着机会的同时，Agent技术的开展以及运行落地也面临着诸多应战。
在近期落幕的WOT世界技术翻新大会上，九章云极DataCanvas的资深算法工程师薛磊，聚焦于Agent的构建与落地，从通常框架到通常案例，分享了他在Agent畛域的洞见和阅历，讨论了Agent技术在当今人工智能生态中的定位与价值。
1.概述：AI Agent是如何兴起的
首先就AI Agent是什么，薛磊做了简明概述。
就定义来说，Agent一词来源于拉丁语中的"Agere"，意思是“to do”。在现代人工智能畛域，Agent被定义为能够自主了解、布局决策、执行复杂义务的智能体。就组成来说，Agent通常由大型言语模型（LLM）加上布局、记忆、工具调用和执行才干组成。某种水平上，两者可以类比为人类的大脑和双手。
在大模型时代，Agent技术失掉了清楚的开展和运行。一方面，大模型相当于Agent的“大脑”，提供了处置复杂义务所需的智能和常识。另一方面，大模型的兴起降落了经常使用AI Agent的门槛，使得更多的人和运行能够应用这些技术。
那么，Agent是如何上班的呢？便捷来说，Agent的全体框架由三个关键局部组成：大脑、感知、执行。
这些组成局部使Agent能够像人类一样启动思索、感知和执行。在薛磊看来，只管通用大模型在许多畛域都体现杰出，但Agent可以针对特定的垂直畛域启动优化和裁减。作为一个模块，Agent可以作为辅佐工具，被集成到更大的系统中，辅佐不同行业、职业以及团体，其设计和配置使其能够在不同的运行场景中施展关键作用，同时坚持灵敏性和可裁减性。
2.组成：量身定制一个框架
随后，薛磊重点引见了Agent框架。
在计算畛域，Agent框架指点智能体如何感知环境、如何做出决策、如何采取执行。换句话说，它提供了一种组织智能体行为、决策及交互的方法，使它们能够顺应环境变动并高效达成指标。
有许多干流的Agent流程框架中，而ReAct是运行比拟广的。ReAct为什么受欢迎呢？
究其要素： 一是优化交互品质 。ReAct准许模型在执行义务的环节中生成推理轨迹，这象征着模型可以边思索边执行，同时记载下自己的思索环节； 二是顺应复杂义务 。ReAct框架下的模型可以在执行环节中灵活调整战略，这使得它们能够处置那些多步骤、具有不确定性和灵活变动的义务； 三是经过将推理和执行相联合，ReAct增强了模型的决策才干 。模型不只依赖于静态的预先训练常识，还可以依据新消息启动实时学习和调整，这在处置复杂多变的场景时尤为关键。
薛磊提到，九章云极自研Agent框架有五个**局部，区分是Session、Agent、Action、Tool、Planner。
关于自研框架的交互环节，薛磊做了进一步说明。
当用户经过对话或其余方式向Agent提出需求或疑问时，Agent经过Prompt工程中的用意识别技术，了解用户的用意。Planner再依据用户的用意和高低文消息，制订执行方案。之后Agent依据方案，经过Action调用相应的Tool执行义务。执行终了后，Agent将结果反应给用户，假设须要，还或者启动多轮对话以优化结果。
而在整个交互环节中，Alaya-Session会充任这个环节的记载者。它记载用户与Agent的每一次性会话，包括用户的恳求、Agent的照应以及交互环节中的一切细节。一来它记载用户的交互历史，这种记忆配置使得Agent能够在后续的交互中应用历史数据，提供愈加共性化和连接的服务；二来经过联合历史高低文和会话的消息，Alaya-Session可以协助Agent更准确地掌握用户用意。
3.构建：打造杰出的Agent系统
不过，薛磊也提到，在开发Agent框架的环节中，团队经常使用了多种开源工具来辅佐构建和测试他们的系统。其中ChatGPT4作为低劣的工具，在环节中施展了关键作用，但随着开发和测试的深化，经常使用ChatGPT4等工具的费用、调用次数或其余限度条件开局成为疑问。
当无法继续依赖这些工具时，记载会话环节中的一切消息就变得尤为关键。记载的数据将用于对模型启动前期微调，以改良其性能和顺应性。这或者触及到调整模型以更好地顺应特定的义务或优化其在特定场景下的体现。同时，经过剖析记载的数据，开发者可以对框架启动初步选用或调整，以确定哪些组件或战略最有效，哪些须要改良。
薛磊示意，在构建和优化Agent框架的环节中，团队从以下几个关键方面启动了处置，以确保系统的高效性和智能性。
其一，基座大模型。 基座大模型相当于Agent的“大脑”，选择着义务的原因、结果和成功率。它在处置垂直畛域的专有名词时尤为关键。例如，在电信行业中，套餐的称号和多少钱是特定畛域的术语，这些在通用大模型中或者不被了解。因此，须要对基座大模型启动特定畛域的训练和优化。
其二，常识库。 常识库是Agent的“记忆”，包括终身记忆和瞬间记忆。它经过向量检索、系数检索、混合检索和形态记忆等技术，存储和检索历史会话和事情消息，为Agent提供决策支持。
其三，Prompt工程。 Prompt工程是Agent交互的**。它不只仅是为大模型设定角色和义务，更是一种新式的编程方式。经过精心设计的揭示词，可以疏导大模型了解和执行复杂的义务。比如，义务拆解是Planner的基础才干，而这些都须要揭示词的方向的裁减。
其四，Action/工具。 Action关键触及到调用工具和接口，执行详细的义务。经过一致的方式和方法调用，简化了Action的执行环节，使其愈加高效。
经过这些方面的综合处置和协同上班，九章云极自研的Agent框架能够成功高效、准确的交互和义务执行，同时坚持灵敏性和裁减性。这些组件独特造成了一个完整的AI Agent系统，使其能够在各种复杂运行场景中提供服务。
4.落地：三大运行应战与处置方案
只管领有杰出的Agent框架是一个很好的开局，但要成功Agent运行的真正落地，还须要面对一系列的应战。最后，人们普遍对Agent的才干抱有很高的希冀。但在开发通常中，经常会发现，Agent在运转看似反常的状况下，却未能如预期那样执行义务。
针对这种状况，薛磊总结了九章云极在推动Agent运行落地环节中所面临的三大应战，并分享了相应的处置方案。
应战一：基座大模型的无法控性
未经专业训练和微调的大型基础模型在执行复杂操作指令时体现出较弱的了解和布局才干。另外，无法漠视的是老本高和部署难的疑问。
处置方案
1、垂直大模型 ：训练专一于特定畛域的大型模型，以提高对特定义务的了解和执行才干。
2、大模型+小模型 ：联合经常使用大型基础模型与小型专业模型，应用小型模型处置特定义务，而大型模型担任散发和协调。
应战二：无法防止的大模型幻觉现象
大模型在执行义务时或者会出现幻觉疑问，特意是在不足先验常识和训练数据的状况下，经常会造成义务拆解和方案制订环节中出错。
处置方案
1、模型微调 ：经过对模型启动特定畛域的训练，使其专一于某个专业畛域，这样它能在该畛域内到达较高的准确度。
2、Prompt工程 ：经过精心设计的揭示来疏导模型的输入，确保其依照预期的方式回答疑问
3、DingDb多模数据库 ：这是九章云极自研的多模向量库，它能够同时处置结构化数据和非结构化数据，成功数据的一致治理和查问。经常使用多模态数据库来提供辅佐的记忆配置，协助模型更好地理解和执行义务。
应战三：效率低下，交互缓慢
大模型推理速度不快，Agent通常须要屡次调用大模型来成功义务，造成全体体验缓慢，用户期待期间长。还有，义务识别调用出现疑问时，或者会造成屡次问答的循环出现，造成交互的通畅和用户的困惑。
处置方案
1、模型减速 ：即经过优化方法缩小不用要的输入，从而降落模型的计算累赘。
2、容错自查 ：即应用较小规模的模型对大型模型的结果启动复查验证，以提高准确性和效率。
5.案例：“辅佐办公AI PPT”是如何运作的
随后，薛磊便捷分享了三个Agent运行。
第一，会议预约。会议预约Agent遵照规范化的上班流程。用户与Agent对话时，Agent会提取关键词，并审核能否蕴含会议介入者、期间及地点等必要消息。假设消息完整，Agent会调用预约接口成功会议布置；若消息不全，则继续征询直到失掉一切必须消息。
第二，智能消息搜集。智能消息搜集Agent关键担任从对话中提取关键消息（如姓名、地点等），并经过设置揭示消息、消息验证和反应机制来确保数据的准确性。例如，在保险报案场景中，Agent会疏导用户提供详细的报案消息，并对提供的消息启动验证，以确保消息的有效性和完整性。
第三，辅佐办公 AI PPT。此运行协助用户经过对话生成PPT演示文稿。它联合了大模型的Planner配置，能够依据用户的需求生成PPT纲要和内容。用户经过对话启动PPT生成流程，Agent依据用户的用意和提供的消息（如主题、内容等）生成PPT纲要。用户可以上行文档或提供主题，系统会依据这些消息生成PPT内容。
薛磊引见，AI PPT运行流程基于大模型的Planner，Planner分为两大类：有形态的Planner和有形态的Planner。与大少数在线AI PPT创立工具相似，九章云极目前尝试的是有形态的Planner，它们都有预设的流程。不过，九章云极的Planner驳回了有形态的设计，这象征着它能够依据用户的对话历史做出照应。
用户可以经过人造言语与系统交换，而且这种对话是灵敏的。这象征着用户不只可以依照既定的流程启动，还可以随时跳出流程，启动闲谈或其余操作。这种灵敏性得益于前端路由机制，它可以依据用户的指令来选择能否继续的流程。
经过这种方式，辅佐办公AI PPT运行能够愈加灵敏地响运行户需求，并有效生成高品质的PPT文档。
6.结语：面向未来的思索
最后，薛磊提到了他关于未来Agent开展趋向的几点思索。在他看来，以下三个方向值得关注：
其一，Multi- Agents的集成迸发。 多智能体系统中，这些智能体可以是不同的软件程序、机器人、传感器等，它们各自具有必定的智能和自主性。MAS的**现实是经过多个智能体的单干与协调，独特成功一个复杂义务，从而成功单个智能体无法成功的指标。
其二，跨平台部署。 随着开源生态的蓬勃开展，以及模型才干的继续优化，未来PC端和移动端将宽泛部署愈加智能、共性化且配置丰盛的系统级Agent，为用户提供无缝、高效的跨平台服务体验。
其三，多模态才干的裁减。 目前这一畛域正处于极速开展阶段。GPT-4o的出现也令人振奋。未来Agent将逾越传统的文本对话，经过整合举措识别、言语了解、情感剖析等多模态交互才干，并与配件设施深度融合，成功愈加人造、直观且智能的交互体验，真正成为人们日常生存中无法或缺的智能同伴。
本文转载自 技术栈 ，作者：诺亚