摘要 —大型言语模型（LLMs）阅历了清楚的裁减，并且越来越多地被整合到各个畛域中。特意是在机器人义务布局畛域，LLMs应用其先进的推理和言语了解才干，依据人造言语指令制订准确高效的执行方案。但是，关于详细化的机器人义务，即机器人与复杂环境互动的义务，仅文本的LLMs经常由于不足与机器人视觉感知的兼容性而面临应战。本钻研提供了一个片面的概述，引见了LLMs和多模态LLMs如何被整合到各种机器人义务中。此外，咱们提出了一个框架，该框架应用多模态GPT-4V经过结合人造言语指令和机器人视觉感知来增强详细化义务布局。咱们基于多样化数据集的结果显示，GPT-4V有效地提高了机器人在详细化义务中的性能。对LLMs和多模态LLMs在各种机器人义务中的宽泛考查和评价丰盛了对以LLM为中心的详细化智能的了解，并为弥合人-机器人-环境交互中的差距提供了前瞻性的见地。
I. 引言
随着预训练模型在模型规模和数据量上的裁减，一些大型预训练模型在一系列复杂义务上展现出了清楚的才干[1]，[2]。大型言语模型（LLMs）因其出色的高低文涌现才干[2]–[10]在各个畛域惹起了宽泛关注。这种新兴才干以史无前例的方式赋能了人工智能算法，重塑了人们经常使用人工智能算法的方式，并促使人们从新评价人工通用智能（AGI）的或者性。
随着LLMs的极速开展，指令调整和对齐调整已成为顺应特定指标的关键方法。在人造言语处置（NLP）畛域，LLMs在必定水平上可以作为言语相关义务的通用途理方案[3]，[5]，[11]–[13]。这些基于变换器的大型模型在多个畛域取得了特殊成就[14]–[17]，深入扭转了人工智能的最新形态[3]，[12]，[18]–[26]。钻研范式也转向了处置子畛域特定疑问。在计算机视觉（CV）畛域，钻研人员也在开发相似于GPT-4和Gemini的大型模型[27]，[28]，这些模型融合了视觉和言语信息，从而支持多模态输入[29]。这种增强LLMs的战略不只提高了它们在下游义务中的性能，而且经过确保与人类价值观和偏好的分歧性，对机器人学的开展具备关键的指点意义。这种方法已在泛滥畛域失掉宽泛驳回[7]，[29]–[32]，甚至在卷积神经网络（CNNs）是关键技术[33]–[40]的畛域也是如此。
LLMs处置和内化少量文本数据的才干为提高机器的了解和人造言语剖析才干提供了史无前例的后劲[41]，[42]。这裁减到了了解手册和技术指南等文档，并将这些知识运行于启动连接、准确和与人类分歧的对话[43]–[45]。经过对话，人造言语指令从文本提醒转化为机器可了解的代码，触发相应的举措，从而使机器人在顺应各种用户命令方面愈加灵敏和顺应性强[46]–[48]。将事实环球的传感器模态整合到言语模型中，有助于建设单词和感知之间的咨询，使它们能够运行于各种特定义务。但是，仅文本的LLMs不足对物理环球的体验性泄露和观察的阅历性结果，这使得它们在特定环境中的决策制订中难以运行。因此，将多模态性整合到LLMs关于有效执行机器人义务至关关键。此外，机器人学畛域出现出更为巧妙的义务变动。与可以从互联网上失掉少量数据集的NLP和CV不同，失掉用于机器人交互的大型和多样化数据集是具备应战性的[49]。这些数据集通常要么专一于繁多环境和对象，要么强调特定义务畛域，造成它们之间存在清楚差异。[50]这种复杂性在将LLMs与机器人学整合时带来了更大的应战。
如何克制机器人技术带来的应战，并应用LLMs在其余畛域的成就来造福机器人学畛域，是本综述所要处置的**疑问。在本文中，上班的贡獻可以总结为四个关键点：
- 咱们细心考查并综合现有的LLM机器人文献，探求三个不同义务类别中的最新停顿：布局、操作、推理。
- 咱们总结了LLMs为机器人学畛域提供的关键技术方法，审核了训练通用机器人战略的后劲，并为该畛域的钻研人员提供了基础考查。
- 咱们评价了多模态GPT-4V在各种环境和场景中机器人义务布局的有效性。
- 咱们总结了咱们考查的关键发现，讨论了未来上班中须要处置的突出应战，并提出了前瞻性的观念。
图1. 提出的GPT-4V赋能的详细化义务布局框架。咱们经常使用视频数据的初始帧及其对应的文本指令作为输入。咱们的框架应用GPT-4V将指令分解为一系列义务方案，并从预约义的举措池当选用相应的示意。同时，咱们可以剖析与指令相关的指标对象以及指令前后图像中的环境变动。最后，咱们经常使用GPT-4V比拟并评价咱们生成的义务方案与实在方案的婚配水平。
II. 相关上班
A. 机器人畛域的LLM
基于LLMs的机器人学钻研畛域曾经取得了严重停顿。这些模型展现出了出色的人造言语了解和知识推理才干，清楚优化了机器人了解高低文和执行命令的才干。的钻研集中在应用LLMs解析复杂的高低文和指令，包括处置歧义、消弭歧义和了解隐含信息。该畛域的关键停顿包括视觉-言语模型的开展[51]–[53]，这些模型清楚提高了视觉问答[54]–[56]和图像形容[57]，[58]等义务的性能。这些提高极大地增强了机器人在物理环球中的推理才干，特意是在复杂命令导航等畛域。[59]，[60] 经过视觉言语处置系统，机器人能够了解图像内容，并将其与相关言语信息（如图像形容和指令执行）整合。这种多模态信息处置雷同运行于音频-视觉整合中。LLMs在人-机器人交互中的另一个严重停顿是经过互动学习环节成功的，这些环节更好地合乎人类的需求和偏好。例如，经过将强化学习与人类反应相结合，机器人可以继续改良它们的义务执行，经过结合人类指点和大型言语模型，机器人可以更准确地细化指令，从而更好地成功自主学习和环境顺应，以成功更准确和有针对性的控制。机器人还可以经过互动学习和顺运行户的行为、偏好和需求，提供更共性化和定制化的交互体验。这些提高不只增强了机器人技术的适用性，而且为未来的人与人之间的交互开拓了新的或者性。
B. 经常使用LLMs启动多模态义务布局
LLMs畛域内的多模态义务布局构成了人工智能学科的一个复杂交叉点，触及整合各种不同的数据模态——如文本、视觉和听觉输入——以促成更片面和粗疏的AI驱动剖析[61]–[65]。
这种跨学科方法逾越了LLMs的传统界限，后者关键关注文本了解和生成，迎来了一个新时代，在这个时代中，这些模型善于于解释、关联和同时与多个数据流互动。在这个背景下，LLM的角色从单纯的言语处置演化为更整合性的性能，综兼并照应复杂的数据交互。在LLMs的多模态义务布局畛域，最近的提高如Inner Monologue和SayCan名目所示，展现了该畛域的复杂性和成熟度的增长。Inner Monologue的方法[65]代表了该畛域的严重飞跃，由于它整合了来自环境的多模态反应源。这种整合使得生成更牢靠、更具高低文看法的义务布局成为或者，协调不同的感官输入以发明对AI周围环境的更连接了解。雷同，SayCan的框架[61]为LLM运行引入了一个新维度。该系统将LLMs作为模型的“手和眼睛”的代理，生成最优的常年指令，并有效地评价场景中指令的可行性概率。这种方法不只增强了AI了解和与其间接环境互动的才干，而且还应用LLMs的粗疏了解来布局和执行复杂举措序列的常年义务。
Inner Monologue和SayCan中这些先进技术的整合代表了在创立AI系统中迈出了关键的一步，这些系统不只愈加看法到多个数据流，而且还能够将这些流分解为可操作的智能。这一停顿指向了一个未来，AI可以在一个愈加灵活、高低文看法和自主的方式中导航和与实在环球互动[61]，[65]–[67]，推进AI驱动翻新和跨学科综合的边界。
III. 机器人义务的范围
A. 布局
1) 人造言语了解：在机器人布局中，大型言语模型因其先进的人造言语了解才干而体现出色。它们将人造言语指令翻译成机器人可执行的举措序列，这是机器人布局的一个关键方面[61]，[68]。本钻研显示，LLMs能够仅基于言语指令生成准确的举措序列，即使没有视觉输入[69]。但是，当有大批视觉信息时，它们的性能会清楚提高，使它们能够创立准确的视觉-语义方案。这些方案将初级人造言语指令转化为虚构代理执行复杂义务的可操作指点。这种才干强调了LLMs整合多模态信息的后劲，从而提高了它们的了解才干。它还展现了它们解释和整合来自各种模态的信息的才干，从而更片面地理解义务[70]。此外，关于从大型言语模型生成举措序列以启动人造言语了解的钻研进一步证明了LLMs在机器人布局中的有效性。LLMs在解释与物理环境同步的人造言语命令方面也显示出渺小的后劲。驳回Grounded Decoding方法，它们可以发生与物理模型概率分歧的行为序列，展现了该方法在机器人布局义务中的有效性[71]。
在复杂序列义务布局方面的钻研突出了LLMs才干的严重提高。Text2Motion的钻研显示，LLMs不只善于处置言语信息，而且能够处置技艺序列中的依赖相关[72]。这是经过几何上可行的布局成功的，标志着在解释形象指令和了解复杂义务结构方面的一个关键提高。此外，LLM-Planner钻研经过将LLMs与传统布局器集成，增强了LLMs在机器人布局中的人造言语了解才干[73]。这种协同作用展现了如何应用LLMs的NLP才干来提高布局义务的效率和准确性。此外，LLM+P应用传统布局器的才干，经常使用布局畛域定义言语（PDDL）和疑问提醒来为LLMs创立特定义务的疑问文件[44]。这种整合清楚提高了LLMs在处置常年布局义务方面的有效性。另外，SayPlan经过集成经典门路布局器来处置布局视线疑问。经过这样做，SayPlan能够将从形象和人造言语指令派生出的大规模、常年义务方案详细化，使移动操作机器人能够成功执行它们[74]。此外，LLMs在搜查算法中作为启示式战略以及作为知识知识的储藏库方面显示出后劲。LLMs的这种双重角色不只增强了这些算法内的推理才干，而且还有助于预测潜在结果。这种方法充沛应用了LLMs的后劲，应用它们先进的推理才干有效地布局复杂义务[66]。这种双重运行强调了大型言语模型在义务布局和疑问处置中的宽泛和多性能后劲。
关于LLMs的钻研展现了它们解析和了解人造言语的清楚才干。这种才干逾越了单纯的文本婚配，到达了深入的语义了解，包括义务的目的和高低文。LLMs的一个关键方面是将它们了解的指令转化为机器人可执行的举措序列，这是机器人义务布局的一个必要特色。LLMs清楚提高了指令生成的品质和顺应性，使得能够发明出既具备高低文看法又特定于环境的复杂举措序列。这些模型在处置各种义务布局复杂性和类型方面体现出多样性，从便捷的物理互动到复杂的常年序列布局。钻研突出了LLMs作为独立决策者和其余模态及布局算法的协作者的后劲。这种协作在解释人造言语和推进机器人布局方面至关关键。随着钻研的停顿，估量LLMs在机器人学和智能化系统畛域将施展越来越关键的作用。
2) 复杂义务推理和决策：在复杂义务推理和决策畛域，由LLMs赋能的机器人体现出清楚的熟练度。这些基于LLM的机器人布局义务曾经清楚逾越了单纯的文本生成和言语了解的范围。最近的钻研突出了言语模型在处置复杂义务、启动逻辑推理、做出理智的决策和介入互动学习方面的渺小才干[3]，[75]。这些打破不只裁减了咱们对基于LLM的机器人布局后劲的了解，而且为翻新的实践运行关上了大门。
在探求预训练言语模型（PLMs）在交互式决策中的运行时，钻研标明指标和观察被转化为嵌入序列，用PLMs初始化网络。这种战略的泛化才干在多变量环境和监视模态中特意有效[76]。在多模态畛域的一个清楚提高是LM-Nav系统的开展[59]。该系统基于PLMs，整合了言语、视觉和举措模型，经过初级人造言语命令指点机器人导航。值得留意的是，它经过兼并预训练的视觉导航、图像-言语相关性和言语了解模型，缩小了对低廉轨迹注释监视的依赖。专一于特定环境中的LLMs，钻研人员[65]曾经审核了它们在人造言语反应和复杂义务布局方面的推理才干。这种才干关于遵照初级义务指令和增强模型在事实环球场景中的运行性至关关键。处置人造言语了解和决策中的分歧性容错疑问，翻新的ReAct模型[77]克制了交互式设置中言语推理的先前限度。它处置了幻觉生成和失误信息流传等应战。经过应用LLMs维持上班记忆和形象概念化初级指标的后劲，ReAct模型在各种义务中成功了清楚的性能优化。与此同时，为了处置大型言语模型（LLMs）在运行于机器人学时的自信幻觉预测疑问，KnowNo[78]为义务成功提供了统计保障，同时在复杂的多步骤布局场景中最小化了对人类协助的需求。值得留意的是，KnowNo与LLMs无缝集成，无需模型微调，提供了一种轻量级和有出路的不确定性建模方法。这种方法与基础模型始终演化的才干坚持分歧，提供了一种可裁减的处置方案。此外，曾经提出了一种触及预处置失误提醒的战略，使LLMs能够提取可执行方案。这种方法为义务执行中代理的独立性和顺应性提供了新的视角。在多代理协作方面，越来越多地探求将言语模型与举措代理集成。经过将LLMs与在特定环境中执行义务的代理配对，建设了一个由布局器、执行器和报告器组成的系统。这种布置清楚提高了复杂义务中推理和执行的效率。
大型预训练言语模型畛域正在阅历一个清楚趋向：这些模型越来越善于了解和执行复杂义务，与事实环球场景严密对齐。这一提高不只强调了预训练模型的顺应性和多性能性，而且预示着下一代AI的来到。随着这些技术的演进，咱们估量翻新运即将激增，有望彻底扭转各个行业。这些义务的一个关键方面是应用LLMs弱小的言语了解和生成才干启动复杂推理和决策环节。该畛域的每项钻研都探求了LLMs在复杂认知性能中的后劲。许多模型驳回自监视学习，有些则结合微调以更好地顺应特定义务。这种方法使LLMs在下游义务辅佐推理中体现出色，从而做出更准确和定制化的决策。虽然LLMs在复杂推理和决策中失掉宽泛运行，但详细的技术和方法在义务处置、学习战略和反应机制方面有所不同。这些模型在多种事实环球情境中失掉运行，包括家庭智能化、机器人导航和义务布局，展现了它们宽泛和始终开展的适用性。
3）人-机器人交互：在人-机器人交互畛域，AGI言语模型的先进推理才干赋予机器人清楚的泛化才干[79]。这使它们能够顺应以前未见环境和义务中的新义务布局。此外，LLMs的人造言语了解界面促成了与人类的交换，为人-机器人交互开拓了新的或者性[80]。宽泛的钻研强调了LLMs在辅佐智能义务布局方面取得的停顿，这反上来又增强了多智能体协作通讯。钻研发现，经常使用人造言语来提高多智能体协作的效率是一种有效的方法来提高通讯效率。一个值得留意的例子是OpenAI的ChatGPT，其在机器人运行中的才干经过严厉的试验启动了评价。钻研结果显示，ChatGPT在逻辑、几何和数学推理等复杂义务方面体现出色，以及空中导航、操作和控制详细化代理[48]。它经过自在方式的对话、解析XML标签和分解代码等技术成功了这一点。此外，ChatGPT准许经过人造言语命令启动用户交互，为开发与人类以人造和直观方式交互的翻新机器人系统提供了关键的指点和见地。雷同，提出了一个应用大规模言语模型启动协作详细化智能的框架[81]。该框架使言语模型能够用于高效布局和通讯，促成各种智能体和人类之间的协作，共同应答复杂义务。试验结果标明，这种方法在该畛域的传统方法中体现清楚优越。
B. 操控
1) 人造言语了解：在机器人控制畛域，LLMs的人造言语了解才干可以协助机器人启动知识剖析。例如，LLM-GROP展现了如何从LLM中提取语义信息，并将其用作在复杂环境中照应人造言语命令执行多步骤义务和静止布局器中关于对象搁置的知识性、语义上有效的决策[82]。该钻研提出了一个将言语置于智能体**的框架[83]。经过应用这些模型中蕴含的先验知识，可以设计出更好的机器人代理，它们能够在事实环球中间接处置具备应战性的义务。经过一系列试验，展现了该框架如何应用底层模型的知识和性能，以更高的效率和多性能性处置各种疑问。同时，该钻研引入了Linguistically Conditional Collision Function (LACO)，这是一种经常使用单视图图像、言语提醒和机器人性能学习碰撞函数的新方法。LACO预测机器人与环境之间的碰撞，使得灵敏的条件门路布局成为或者[84]。
除了人造言语了解才干外，LLM的弱小推理才干也表演着突出的角色。例如，在VIMA上班[85]中，引入了一种新的多模态提醒公式，将不同的机器人操控义务转化为一致的序列建模疑问，并在具备多模态义务和系统泛化评价协定的多样化基准中实例化。试验标明，VIMA能够经常使用繁多模型处置视觉指标成功、一次性性视频模拟和陈腐概念基础等义务，具备弱小的模型可裁减性和零样本泛化才干。雷同，TIP提出了Text-Image Cueing[86]，这是一种双模态提醒框架，将LLMs衔接到多模态生成模型，以正当生成多模态程序方案。除了提醒方法外，在机器人控制畛域，基于预训练LMs的下游义务微调也是一种经常出现方法。例如，该上班展现了预训练的视觉言语示意可以有效提高现有探求方法的样本效率[87]。R3M钻研了如何在不同的人类视频数据上预训练视觉示意，以成功下游机器人操控义务的数据高效学习[88]。LIV在大型泛化人类视频数据集上启动训练，并在小型机器人数据集上启动微调，微调后在三个不同的评价设置中逾越了最先进的方法，并成功执行了事实环球的机器人义务[89]。
这一系列钻研共同展现了LLMs和人造言语了解技术在推进机器人智能方面的关键角色，特意是无了解和执行复杂的基于言语的义务方面。这些钻研的一个关键重点是模型泛化的关键性以及将这些模型运行于不同畛域才干。每项钻研虽然共享这一共同主题，但在其特定的关注点和运行方法论上有所不同。例如，LLM-GROP专一于语义信息的提取和运行。相比之下，VIMA和TIP专一于无先前示例的多模态处置和学习。此外，微调预训练LMs的方法旨在提高运行效率和义务特定优化。总的来说，这些钻研标明，将复杂的NLP技术与机器学习战略相结合，可以大大提高机器人系统的效率，特意是在其了解和执行复杂义务的才干方面。这一提高是成功机器人操控中更大智能和自主性的关键一步。
2) 交互战略：在交互战略畛域，TEXT2REWARD框架引入了一种经常使用LLMs生成交互式鼓励代码的翻新方法[83]。该方法智能发生密集的鼓励代码，增强了强化学习。此外，经过应用大型言语模型定义可以优化以成功各种机器人义务的鼓励参数，可以有效弥合初级言语指令或纠正与低级机器人执行之间的差距。言语模型生成的鼓励作为两边接口，使得初级指令和机器人的低级执行之间的无缝通讯和协调成为或者[90]。此外，VoxPoser展现了一个多性能的机器人操控框架[64]，其特点是能够间接从LLMs中提取可操作性和解放。这种方法清楚提高了机器人对开明式指令和多样化对象的顺应性。经过将LLMs与视觉-言语模型集成，并应用在线交互，VoxPoser高效地学习与复杂义务灵活模型互动。LLMs的运行也裁减到了人-机器人交互。LILAC系统经过一个可裁减的[63]、由言语驱动的人机交互机制来成功这一点。它将人造言语话语翻译成低维控制空间中的可执行命令，使得机器人的准确和用户友好的指点成为或者。关键的是，每个用户的纠正都会完善这个控制空间，准许越来越针对性和准确的命令。InstructRL提供了另一个旨在增强者-AI协作的翻新框架[91]。它专一于训练强化学习代理来解释和执行人类提供的人造言语指令。该系统经常使用LLMs依据这些指令制订初始战略，疏导强化学习代理成功协调的最佳平衡。最后，关于基于言语的人机界面，曾经开发了一种新的、灵敏的界面LILAC。它准许用户经常使用文本输入和场景图像扭转机器人轨迹[92]。该系统协同预训练的言语和图像模型，如BERT和CLIP，经常使用变换器编码器和解码器在3D和速度空间中操纵机器人轨迹。这种方法在模拟环境中证明是有效的，并经过实践运行展现了其适用性。
一切这些技术和方法在不同水平上依赖于先进的言语建模来增强者-机器人交互和机器人控制。它们共同强调了LLMs在解释和执行人类用意方面的关键作用。每种方法都旨在提高机器人的顺应性和灵敏性，使它们能够更有效地处置多样化的义务和环境。详细来说，TEXT2REWARD专一于生成和优化鼓励代码，提高了强化学习战略的效能。相反，VoxPoser专一于从LLMs中提取操作符和解放。与此同时，LILAC和InstructRL驳回不同的方法来解释和执行人造言语命令。LILAC优先思考将话语映射到控制空间，而StructRL努力于训练强化学习代理了解和遵照人造言语指令。此外，最后讨论的基于言语的人机交互钻研讨论了如何间接从文本和图像中提取用户用意，并将其运行于各种机器人平台。这一方面使其与其余或者不蕴含此性能的方法有所不同。总的来说，这些钻研标志着将LLMs技术整合到机器人学中的严重提高。虽然它们的运行畛域和方法论有不同的焦点，但它们都展现了人工智能翻新的后劲。此外，它们为未来人-机器人交互的探求铺平了路线。
3) 模块化方法：最近在机器人控制方面的停顿强调了模块化方法，准许创立更复杂和性能丰盛的机器人系统。最近的钻研突出了这一趋向的关键方面。PROGRAMPORT提出了一个以程序为基础的模块化框架，专一于机器人操控[93]。它经过将人造言语的语义结构翻译成编程元历来解释和执行言语概念。该框架包括在学习和把握普通视觉概念和特定义务操作战略方面体现出色的神经模块。这种结构化方法清楚增强了对视觉基础和操作战略的学习，提高了对未见样本和分解环境的泛化才干。接上去，钻研人员探求了经常使用LLMs来减速机器人系统战略顺应的方法[94]，特意是在遇到新工具时。经过生成几何外形和形容性工具模型，而后将这些转换为向量示意，LLMs促成了极速顺应。这种言语信息和元学习的整合在顺应不相熟工具方面体现出清楚的性能优化。
此外，将基于ViLD和CLIP的视觉言语模型NLMap[95]与SayCan框架相结合，造成了更灵敏的场景示意。这种结合关于常年布局特意有效，尤其是在开明环球场景中处置人造言语命令时。NLMap增强了基于LLM的布局器了解其环境的才干。"Scaling Up and Distilling Down"框架结合了LLMs[96]、基于采样的布局器和战略学习的优点。它智能化了生成、标志和提取丰盛的机器人探求阅历到一个多性能的视觉-言语静止战略中。这种多义务战略不只承袭了常年行为和持重的操控技艺，而且在训练散布之外的场景中也体现出改善的性能。
MetaMorph引见了一种基于变换器的方法，用于学习适用于宽泛的模块化机器人设计空间的通用控制器[97]。这种方法使得机器人外形可以作为变换器模型的输入。经过在多样化的外形上启动预训练，经过这种方法生成的战略展现了对新外形和义务的宽泛泛化才干。这展现了在机器人学中启动宽泛的预训练和微调的后劲，相似于视觉和言语畛域的开展。
在这些钻研中的每一项中，都驳回了模块化方法，增强了系统对新义务和环境的灵敏性和顺应性。这些上班宽泛应用深度学习技术，特意是与LLMs协同作用，以增强机器人系统的了解和决策才干。此外，这些钻研的一个关键焦点是运行NLP。这无论是经过间接解释言语命令，还是经过言语丰盛的学习和顺应环节都显而易见。关键指标是提高机器人在新环境和义务中极速泛化和顺应的才干。虽然一切钻研都驳回了深度学习和LLMs，但它们的详细成功和运行是多样的。有些集中在言语形容和了解上，而其余钻研探求视觉和言语的融合。钻研指标各不相反，从顺应新工具，到常年战略布局，到多外形机器人控制的应战。虽然技术方法、运行畛域和指标义务存在差异，但每项钻研都清楚地为推进机器人系统的智能和顺应才干做出了奉献。
C. 推理
1) 人造言语了解：在机器人推理义务畛域，基于人造言语了解的LLMs作为一个关键的知识库，为各种义务提供知识性洞察，这一点至关关键。宽泛的钻研标明，LLMs有效地模拟了相似人类的形态和行为，特意是在钻研执行家庭清洁性能的机器人时尤为相关。这种方法偏离了传统方法，后者通常须要低廉的数据搜集和模型训练。相反，LLMs应用现成的方法在机器人学中启动泛化，从宽泛的文本数据剖析中受益于其弱小的总结才干。此外，LLMs的知识推理和代码了解才干促成了机器人与物理环球之间的咨询。例如，Progprompt在LLMs中引入编程言语特性已被证明可以提高义务性能。这种方法不只直观，而且足够灵敏，能够顺应新的场景、代理和义务，包括实践的机器人部署[98]。同时，GIRAF应用大型言语模型的弱小才干，愈加灵敏地解释手势和言语命令，使得能够准确推断人类用意并为更有效的人机协作对手势含意启动情境化[99]。
在这一畛域的一个翻新开展是Cap（代码作为战略）[47]，它主张以机器人为中心的言语模型生成程序。这些程序可以顺应机器人操作栈的特定层：解释人造言语命令、处置感知数据以及为原始言语控制参数化低维输入。这种方法的基本准则是分层代码生成促成了更复杂代码的创立，从而推进了这一畛域的最新技术。
无论是家庭清洁运行还是Cap中的以机器人为中心的言语模型生成程序，都突出了LLMs在提供知识知识和解释人造言语指令方面的优点。传统机器人学通常须要宽泛的数据搜集和专门的模型训练。相比之下，LLMs经过应用其在文本数据上的宽泛训练来减轻这种需求。LLMs的代码了解和生成才干尤其关键，使机器人能够更有效地与物理环球互动并执行复杂义务。但是，运行重点有所区别：家庭清洁性能偏差于强调日常义务和环境顺应性，而Cap则专一于经过言语模型生成程序（LMPs）编程和控制机器人的更技术性行为。
总之，将LLMs整合到机器人推理义务中强调了它们在人造言语了解、知识知识提供以及代码了解和生成方面的清楚才干。这些特性不只减轻了与传统机器人学相关的数据搜集和模型训练累赘，还提高了机器人的泛化才干和灵敏性。经过充沛的训练和调整，LLMs可以运行于各种场景和义务，展现了它们在机器人学和人工智能未来的渺小后劲和宽泛的适用性。
2) 复杂义务推理和决策：在复杂义务推理和决策畛域，各种钻研曾经应用LLMs的推理才干来增强特定下游义务的精细化。例如，SayCan应用LLMs中嵌入的宽泛知识启动详细化义务以及强化学习[61]。这种方法触及经常使用强化学习来提醒无关团体技艺价值函数的见地。而后，它经常使用这些技艺的文本标签作为潜在照应，而LLM为义务成功提供总体语义指点。
另一个值得留意的开展是Instruct2Act框架[100]。它提供了一个用户友好的、通用的机器人系统，该系统经常使用LLMs将多模态命令转换为机器人畛域中的一系列举措。该系统经常使用LLM生成的战略代码，这些代码对各种视觉基础模型启动API调用，从而取得对义务集的视觉了解。
LLMs在自我布局和PDDL（布局畛域定义言语）布局中的经常使用也曾经被探求[101]。曾经证明，LLM输入可以有效地指点启示式搜查布局器。
在失败解释和纠正义务畛域，REFLECT框架应用机器人过去阅历的档次化总结，这些阅历是从多感官观察生成的，来查问LLM启动失败推理[102]。取得的失败解豁而后可以指点基于言语的布局器纠正失败并成功成功义务。
此外，预训练多模态模型的顺应也是一种经常出现战略。经过将视觉-言语模型的预训练与机器人数据集成，以训练视觉-言语-执行（VLA）模型[62]，钻研人员发现，经过互联网数据训练的模型，参数高达550亿，可以生成高效的机器人战略。这些模型体现出增强的泛化性能，并受益于网络上可用的宽泛的视觉-言语预训练才干。
Socratic Models代表了另一种方法[67]，其中多个大型预训练模型之间的结构化对话促成了新多模态义务的联结预测。这种方法在多个义务中成功了零次射击性能。
在这些钻研中，关键的重点是应用LLMs智能化推理和决策环节。这是经过应用LLMs提供或应用初级语义知识的才干来成功的，从而增强了义务执行。有些方法将LLMs与其余模态集成，如视觉和执行，以加深义务了解和执行。其余方法展现了在以前未见的义务上的有效性能，展现了零次或少次学习的才干。
每项钻研驳回了共同的方法来整合LLMs。例如，SayCan结合了强化学习，而Instruct2Act则集中在间接映射多模态指令上。所驳回的技术——从强化学习和启示式搜查到多模态预训练——在不同的运行畛域，如机器人操控、布局和智能决策制订中差异清楚。这些钻研共同展现了LLMs在治理复杂义务推理和决策方面的渺小后劲。经过将LLMs与其余技术（如强化学习和多模态数据处置）结合起来，可以成功更深档次的语义了解和更有效的决策支持。这在机器人学和智能化畛域尤为清楚，这种整合方法为新运行铺平了路线。但是，这些方法的有效性高度依赖于义务的详细性质、所经常使用的数据和模型训练方法。因此，每种方法的选用和运行必定细心针对特定高低文启动定制。
3) 交互战略：LLMs的最新停顿在交互战略的开展中做出了严重奉献，展现了在言语生成和相似人类推理方面的印象才干。Matcha[103]应用LLMs增强了交互式多模态感知，展现了LLMs无了解各种类型的输入数据（如视觉和听觉）方面的后劲。这种方法提出了一个增强的LLM多模态交互代理。这个代理不只应用LLMs中固有的知识知识启动更正当的交互式多模态感知，而且还展现了LLMs在启动这种感知和解释行为方面的实践运行。
生成性代理，如所引见的，是为了模拟人类行为而设计的交互计算代理[104]。这些代理的架构被设计成存储、分解和运行相关记忆，从而经常使用大型言语模型生成正当的行为。将LLMs与这些计算代理集成，促成了先进架构和交互形式的创立。这种结合使得更实在的人类行为模拟成为或者，裁减了LLMs的潜在运行。
基于LLMs的交互战略的重点是将LLMs与其余感知系统（如图像识别和语音处置）融合。这种融合旨在模拟或增强者类才干，提高认知和处置才干。这种提高在智能助理、机器人和增强事实系统畛域有着深远的影响。
在讨论的上班中，特意强调了多模态感知，重点是提高系统了解和与其环境互动的才干。此外，人类行为的模拟旨在在人工智能中复制人类的思想和执行环节。这两个方向的融合有望发明出更弱小、更通用的智能系统。这些系统被想象能够以更复杂和兽性化的水平与人类互动，提出了严重的技术应战，并引发了关键的伦理和社会顺应疑问。
IV. GPT-4V赋能的详细化义务布局
基于前述对详细化义务和LLMs的考查，咱们在本钻研中开发了一个基于GPT-4V的详细化义务布局框架，并启动了评价试验，如图1所示。以下局部将提供无关数据集、提醒设计和试验结果的详细信息。
A. 数据集
为了片面评价GPT-4V的多模态详细化义务布局才干，咱们选用了来自9个数据集的40多个案例，重点关注操控和抓取。这些举措在遵照指令的机器人学中是基础，触及多种人类指令在不同场景中的运行，如厨房取物和桌面从新陈列。所选数据集经过谷歌开明XEmbodiment数据集[49]访问。在每个案例中，视频演示和人造言语指令作为输入，评价GPT-4V作为机器人大脑的才干。这种设置使得基于人造言语指令的强健布局成为或者，用于生成机器人举措。
B. 提醒设计
提醒设计在查问LLMs时起着至关关键的作用。一个精心制造的、信息丰盛且结构明晰的提醒，能够发生更准确和分歧的输入，与给定指令相合乎。在这里，咱们经过结合图像降级了[114]中的文本提醒，创立了一个多模态提醒，疏导GPT-4V生成机器人义务方案。多模态提醒由五局部组成：
• 系统角色说明：指定义务和GPT-4V在其照应中驳回的角色。
• 预约义举措池：一组预约义的机器人举措，GPT-4V可以从当选用和排序，逐渐成功义务。为处置词汇限度，必要时提醒GPT-4V创立新举措。
• 示例输入：一个JSON格局的示例，用于说明预期输入并确保分歧性。
• 案例环境图像和人造言语指令：包括从视频演示中提取的第一帧作为环境图像。
• 评价：GPT-4V担任依据与视频演示的分歧性对生成的义务方案启动评价，并提供解释。
前三局部作为每个查问的系统信息输入，而最后两局部作为用户信息依据测试数据变动。完整的提醒如图附录4所示。
V. 试验结果
在咱们的试验框架中，大型言语模型（LLMs）首先生成针对每个机器人义务指标的逐渐指令。随后，在这个生成的指令的指点下，模型从预约义的举措池和举措对象当选用最适合的举措，构成每个步骤的举措方案。在取得LLMs生成的指令后，咱们经过将它们与相应视频数据集中的Ground Truth指令启动比拟，对生成的结果启动了定量评价。咱们在9个地下可用的机器人数据集上启动了严厉的测试，得出了深入且富裕洞察力的发现。
例如，在RT-1 Robot Action [105]数据集中，如图2顶部面板所示，多模态LLMs准确识别了指标对象，并熟练地分解和执行了义务。如图2左上角所示，基于给定的环境和指令，LLMs生成的指令如下：1) 将手移动究竟层抽屉中指标的位置；2) 抓住指标；3) 将手带着指标移动到柜台上；4) 在柜台上监禁指标。在提供详细的逐渐文本指令后，LLMs从举措池当选用并列出一组合乎战略的指令和对象。例如，“挪入手(底层抽屉)”是第一项文本指令的性能表白，便于后续间接经常使用这个举措方案与控制机器人臂的接口代码。此外，经过LLMs生成的“环境形态”，可以清楚看出模型能够有效了解一系列操作后环境中关键对象空间相关的变动。图2中的“婚配得分”也展现了模型的准确度。
表 I数据集形容以及GPT-4V自评的平均婚配得分，比拟它生成的义务方案与九个测试数据集中的实在演示。
图 2. 不同数据集生成的义务方案：RT-1 机器人举措（顶部面板）、QT-Opt（左中）、伯克利桥（右中）、弗莱堡Franka游戏（底部左）和南加州大学Jaco游戏（底部右）。
在上述测试案例中，场景触及的对象较少，义务指令相对繁复明了。因此，咱们进一步启动了触及语义含糊义务形容和复杂场景的测试。图2左中代表了一个来自QT-Opt数据集[106]的测试案例，其中指令便捷地是“拿起任何物品”，没有指定场景中的任何实体。从LLMs生成的结果来看，它发生了一系列的通用指令，适用于抓取任何物体，并与低空假相坚持高度分歧性。关于复杂场景，如图2右中所示，咱们测试了一个来自伯克利桥数据集[107]的示例案例。输入指令“将银锅从白色罐头前面的移动到桌子前沿蓝色毛巾旁边”触及多个对象及其在场景中的空间相关。在这里，LLMs不只了解了义务的目的，还熟练地执行了义务细节，展现了它们先进的图像了解和逻辑推理才干。
图2和图3展现了LLMs在多样化和复杂场景中的有效性的进一步证据（包括数据集[108]–[113]）。在这些试验中，LLMs体现出色，即使在设置复杂或有特殊要求的义务中也是如此。表I展现了GPT-4V在九个不同数据集中自我评价的平均婚配得分，标明生成的义务方案与低空假相演示之间具备分歧的高水平分歧性。这坚固了咱们方法的有效性，并强调了多模态LLMs在机器人义务执行中的弱小的图像了解和逻辑推理才干。其余测试结果可以在附录中找到。
图 3. 不同数据集生成的义务方案：伯克利Autolab UR5（左上）、纽约大学Vinn（右上）、BC-Z（左下）和TOTO基准测试（右下）。
VI. 局限性、讨论和未来上班
咱们概述了将大型言语模型（LLMs）整合到各种义务和环境中的机器人系统，并评价了GPT-4V在多模态义务布局中的体现。虽然GPT-4V作为义务布局的机器人大脑展现了令人印象深入的多模态推理和了解才干，但它面临几个局限性：1）生成的方案是同质化的，不足详细的详细化和特定、持重的设计来治理复杂环境和义务。2）的多模态LLMs，如GPT-4V和Google Gemini [28]，须要精心制造的、简短的提醒来发生牢靠的输入，这须要畛域专业知识和宽泛的技巧。3）机器人遭到预约义举措的限度，限度了其执行自在和持重性。4）GPT-4V API的闭源性质及相关的期间提前或者会阻碍嵌入式系统开发和实时商业运行。未来的钻研应该旨在处置这些应战，以开发更持重的AGI机器人系统。
另一方面，多模态GPT-4V在机器人学中展现的先进推理和视觉言语了解才干突显了以LLM为中心的AGI机器人系统的后劲。展望未来，以多模态LLM为中心的AGI机器人在各个畛域都有运行后劲。在精准农业畛域，这些机器人可以取代人类在各种休息密集型义务中的劳能源，尤其是在收获方面。这包括像水果采摘和作物表型剖析[115]，[116]这样的义务，这些义务须要在农场复杂的环境下启动初级推理和准确执行[117]。在医疗保健畛域，对安保和准确性的关键需求对多模态LLM的感知和推理才干提出了更高的要求。这一点在机器人辅佐筛查和手术中尤为关键，由于须要依据团体需求定制义务[118]。此外，应用对比学习模型如CLIP[119]将大脑信号与人造言语对齐，为开发以LLM为中心的AGI机器人系统中的脑-机接口（BCIs）[120]提供了一条门路。这些系统能够读取和解释人类大脑信号，如EEG和fMRI，用于复杂义务成功中的自我布局和控制[80]，[121]。这一提高可以清楚缩小人-环境互动的差距，减轻身材和认知休息。
VII. 论断
在本文中，咱们提供了将大型言语模型（LLMs）整合到各种机器人系统和义务的概述。咱们的剖析显示，LLMs展现了令人印象深入的推理、言语了解和多模态处置才干，这些才干可以清楚增强机器人对指令、环境和所需执行的了解。咱们在9个数据集的30多个案例中评价了最近颁布的GPT-4V模型启动详细化义务布局。结果标明，GPT-4V能够有效应用人造言语指令和视觉感知来生成详细的执行方案，以成功操控义务。这标明经常使用多模态LLMs作为详细化智能的机器人大脑是可行的。
但是，关于模型透明度、持重性、安保性和事实环球适用性的一些应战依然须要处置，由于咱们正在野着更适用和有才干的基于LLM的AI系统迈进。详细来说，大型神经模型的黑盒性质使得很难齐全了解它们的外部推理环节和失败形式。此外，模拟与事实环球之间的差距在不降落性能的状况下转移战略方面继续存在艰巨。依然须要经过规范化测试、反抗性训练、战略顺应方法和更安保的模型架构等技术来处置这些疑问。依赖LLMs的自主智能系统的问责和监视协定也须要深思熟虑。以审慎、品德和社会担任的方式克制这些多方面的应战依然是推进这一畛域提高的必要条件。
随着言语模型继续从多模态数据中积攒宽泛的基础知识，咱们估量在将它们与机器人学和基于模拟的学习整合方面将迅速翻新。这可以在部署前经常使用模拟到事实技术在模拟中直观地开发和验证智能机器人。这样的开展可以深入增强和转变咱们构建、测试和部署智能机器人系统的方式。
总体而言，人造言语处置和机器人学的协同整合是一个充溢机会和应战的有前景的畛域，值得启动宽泛的未来跨学科钻研。
Jiaqi Wang∗, Zihao Wu∗, Yiwei Li, Hanqi Jiang, Peng Shu, Enze Shi, Huawen Hu, Chong Ma, Yiheng Liu,Xuhui Wang, Yincheng Yao, Xuan Liu, Huaqin Zhao,Zhengliang Liu, Haixing Dai, Lin Zhao,Bao Ge, Xiang Li, Tianming Liu†,and Shu Zhang†
西北工大、美国佐治亚大学等，2024.01，JOURNAL OF LATEX CLASS FILES
AIRoobt ，作者：AIRoobt
原文链接：