写在前面 & 笔者的团体了解
本文引见了EMMA，一种用于智能驾驶的端到端多模态模型。EMMA建设在多模态大型言语模型的基础上，将原始摄像头传感器数据间接映射到各种特定于驾驶的输入中，包括规划者轨迹、感知目的和路途图元素。EMMA经过将一切非传感器输入（如导航指令和自车形态）和输入（如轨迹和3D位置）示意为人造言语文本，最大限制地利用了预训练的大型言语模型中的环球常识。这种方法准许EMMA在一致的言语空间中联结处置各种驾驶义务，并经常使用义务特定的揭示为每个义务生成输入。依据阅历，咱们经过在nuScenes上成功最先进的静止规划性能以及在Waymo放开静止数据集（WOMD）上取得有竞争力的结果来证实EMMA的有效性。EMMA还为Waymo放开数据集（WOD）上的相机主3D目的检测提供了有竞争力的结果。咱们标明，将EMMA与规划器轨迹、目的检测和路途图义务联结训练，可以在一切三个畛域取得提高，突显了EMMA作为智能驾驶运行的通用模型的后劲。但是，EMMA也体现出必定的局限性：它只能处置大批的图像帧，不蕴含激光雷达或雷达等准确的3D传感方式，计算老本很高。咱们宿愿咱们的钻研结果能够激起进一步的钻研，以缓解这些疑问，并进一步开展智能驾驶模型架构的最新技术。
总结来说，本文的关键奉献如下：
虽然有这些SOTA的结果，但EMMA并非没有局限性。特意是，它面临着事实环球部署的应战，要素是：（1）由于无法将相机输入与LiDAR或雷达融合，3D空间推理遭到限制，（2）须要实在且计算低廉的传感器仿真来为其闭环评价提供动力，以及（3）相较于传统模型，计算要求参与。咱们方案在未来的上班中更好地理解和应答这些应战。
EMMA建设在Gemini之上，Gemini是谷歌开发的MLLM家族。咱们应用经过训练的自回归Gemini模型来处置交织的文本和视觉输入，以发生文本输入：
如图1所示，咱们将智能驾驶义务映射到基于Gemini的EMMA公式中。一切传感器数据都示意为拼接图像或视频V；一切路由器命令、驱动高低文和义务特定揭示都示意为T；一切输入义务都以言语输入O的方式出现。一个应战是，许多输入和输入须要捕捉3D环球坐标，例如用于静止规划的航路点BEV（俯瞰图）位置（x，y）以及3D框的位置和大小。咱们思考两种示意方式：第一种是间接将文本转换为浮点数，示意为。RT-2在机器人控制中举例说明了这种方法。第二种方法经常使用不凡的标志来示意每个位置或举措，示意为，分辨率由学习或手动定义的团圆化方案确定。MotionLM应用这种方法启动静止预测。咱们留意到，这两种方法各有优缺陷。咱们选用文本示意，这样一切义务都可以共享相反的一致言语示意空间，并且它们可以最大限制地重用预训练权重中的常识，即使文本示意或者比专门的标志化发生更多的标志。
EMMA驳回一致的端到端训练模型，间接从传感器数据生成智能驾驶汽车的未来轨迹。而后，这些生成的轨迹被转化为特定于车辆的控制举措，如智能驾驶车辆的减速和转弯。EMMA的端到端方法旨在仿真人类驾驶行为，重点关注两个关键方面：（1）第一，经常使用导航系统（如谷歌地图）启动路途规划和用意确定；（2）第二，应用过去的执行来确保颠簸、分歧的驾驶。
们的模型结合了三个关键输入，以与这些人类驾驶行为坚持分歧：
该模型为静止规划生成未来轨迹，示意为同一BEV空间中自车的一组未来轨迹航路点：示意未来Tf期间戳，其中一切输入航路点也示意为纯文本。将一切内容放在一同，完整的公式示意为：
而后，咱们经常使用此公式对Gemini启动微调，以生成端到端的规划器轨迹，如图1所示。咱们强调了这种配方的三个特点：
思想链揭示是MLLM中的一个弱小工具，可以增强推理才干并提高可解释性。在EMMA中，咱们经过要求模型在预测最终未来轨迹航路点Otrajectory的同时说明其决策原理Orationale，将思想链推理归入端到端规划器轨迹生成中。
咱们按层次结构构建驱动原理，从4种粗粒度信息到细粒度信息：
咱们强调，驱动原理说明是经常使用智能化工具生成的，没有任何额外的人工标签，确保了数据生成管道的可裁减性。详细来说，咱们应用现成的感知和预测专家模型来识别关键代理，而后经常使用精心设计的视觉和文本揭示的Gemini模型来生成片面的场景和代理行为形容。元驾驶决策是经常使用剖析自车低空实在轨迹的启示式算法计算的。
在训练和推理环节中，该模型在预测未来的航路点之前预测了驾驶原理的一切四个组成局部，即：
虽然端到端的静止规划是最终的**义务，但片面的智能驾驶系统须要额外的配置。详细来说，它必定感知3D环球，识别周围的物体、路途图和交通状况。为了成功这一目的，咱们将EMMA制订为一种多面手模型，能够经过混合训练来处置多种驾驶义务。
咱们的视觉言语框架将一切非传感器输入和输入示意为纯文本，提供了整合许多其余驾驶义务所需的灵敏性。咱们驳回指令调优（LLM中一种成熟的方法）来联结训练一切义务以及方程1的输入T中蕴含的义务特定揭示。咱们将这些义务分为三大类：空间推理、路途图预计和场景了解。图2显示了整个EMMA概化图。
空间推理是了解、推理和得出关于物体及其在空间中的相关的论断的才干。这使得智能驾驶系统能够解释周围环境并与之交互，以成功安保导航。
咱们空间推理的关键重点是3D目的检测。咱们遵照Pix2Seq，将输入的3D边界框示意为Oboxes。咱们经过写两位小数的浮点数将7D框转换为文本，每个维度之间用空格隔开。而后，咱们经常使用固定揭示Tdetect_3D示意检测义务，例如“检测3D中的每个目的”，如下所示：
路途图预计并重于识别安保驾驶的关键路途元素，包括语义元素（如车道标志、标志）和物理属性（如车道曲率）。这些路途元素的汇合构成了一个路途图。例如，车道段由（a）节点示意，其中车道遇到交叉口、兼并或宰割，以及（b）这些节点之间沿交通方向的边缘。完整的路途图由许多这样的折线段组成。
虽然每条折线内的边是有方向的，但每条折线相关于其余元素不必定有惟一的顺序。这与目的检测相似，其中每个框由有序属性（左上角、右下角）定义，但框之间不必定存在相对顺序。已有数篇钻研经常使用Transformers对折线图启动建模，与言语模型有相似之处。
咱们在EMMA中的普通建模公式如下：
本文特意关注预测可行驶车道，即自车在场景中可以行驶的车道。这些是同一交通方向上的相邻车道和从自我车道分叉的车道。为了构建Oroadgraph，咱们（a）将车道转换为有序的航路点集，（b）将这些航路点集转换为文本。经常使用样本排序的航路点来示意交通方向和曲率是有益的。与检测一样，咱们还发现按近似距离对车道启动排序可以提高预测质量。咱们的折线文本编码的一个例子是：“（x1，y1和…以及xn，yn）；…”其中“x，y”是精度为小数点后2位的浮点航点，“；”分隔折线实例。
场景了解义务测试模型对整个场景高低文的了解，这或者与驾驶无关。例如，路途或者会因施工、紧急状况或其余事情而暂时碰壁。及时检测这些阻碍物并安保绕过它们关于确保智能驾驶汽车的颠簸安保运转至关关键；但是，须要场景中的多个线索来确定能否存在梗塞。咱们经常使用以下公式重点钻研咱们的模型在这个暂时梗塞检测义务中的体现：
咱们一致的视觉言语公式能够经常使用单个模型同时训练多个义务，准许在推理时经过义务揭示Ttask的便捷变动启动特定义务的预测。训练方式既便捷又灵敏。
实验结果标明，在多个义务中训练的通才模型清楚优于在单个义务上训练的每个专家模型。这突出了通才方法的长处：增强了常识转移，提高了泛化才干，提高了效率。
咱们在图8、9和10中展现了12个不同的视觉示例，每个示例都是为了突出EMMA模型在一系列场景中的通用性。在一切场景中，咱们显示模型的预测（从左到右）：端到端静止规划、3D目的检测和路途图预计。
咱们按场景类型对视觉示例启动分组：示例（a）-（d）展现了EMMA如何安保地与路上稀有、看不见的物体或生物互动。示例（e）-（f）的特点是EMMA在施工区域导航。示例（g）-（j）展现了EMMA在有交通讯号灯或交通管制员的十字路口遵守交通规定的状况。示例（k）-（l）强调了EMMA尊重摩托车手等弱势路途经常使用者。
鉴于这些示例，咱们展现了EMMA的以下配置：
总之，这些场景突出了EMMA在各种具备应战性和多样性的驾驶场景和环境中安保高效运转的才干。
在前面的局部中，咱们在nuScenes规划基准上展现了最先进的端到端静止规划。咱们还在WOD规划基准上成功了端到端的静止规划和WOD上的相机主3D检测的竞争性能。此外，咱们的通才设置经过联结训练提高了多项义务的质量。虽然取得了这些有宿愿的结果，但咱们抵赖咱们上班的局限性，并提出了在此基础上进一步开展和在未来钻研中应答这些应战的方向。
内存和视频配置：目前，咱们的模型只处置有限数量的帧（最多4帧），这限制了它捕捉驾驶义务所必需的常年依赖相关的才干。有效的驾驶不只须要实时决策，还须要在更长的期间范围内启动推理，依托常年记忆来预测和应答始终变动的场景。增强模型执行常年推理的才干是未来钻研的一个有前景的畛域。这可以经过集成存储模块或裁减其高效处置较长视频序列的才干来成功，从而成功更片面的期间了解。
裁减到激光雷达和雷达输入：咱们的方法严重依赖于预训练的MLLM，这些MLLM通常不蕴含激光雷达或雷达输入。裁减咱们的模型以集成这些3D传感形式带来了两个关键应战：1）可用相机和3D传感数据量之间存在清楚不平衡，造成与基于相机的编码器相比，3D传感编码器的通用性较差。2） 3D传感编码器的开展尚未到达基于相机的编码器的规模和复杂水平。处置这些应战的一个潜在处置方案是经常使用与相机输入细心对齐的数据对大规模3D传感编码器启动预训练。这种方法可以促成更好的跨模态协同作用，并大大提高3D传感编码器的泛化才干。
预测驾驶信号的验证：咱们的模型可以间接预测驾驶信号，而不依赖于两边输入，如物体检测或路途图预计。这种方法给实时和预先验证带来了应战。咱们曾经证实，咱们的多面手模型可以联结预测额外的人类可读输入，如目的和路途图元素，并且可以用思想链驱动原理进一步解释驾驶决策。但是，虽然阅历观察标明这些输入通常确实是分歧的，但不能保障它们总是分歧的。此外，额外的输入会给部署带来渺小的运转时提前开支。
闭环评价的传感器仿真：人们普遍以为，开环评价或者与闭环性能没有很强的相关性。为了在闭环环境中准确评价端到端的智能驾驶系统，须要一个片面的传感器仿真处置方案。但是，传感器仿真的计算老本通常比行为仿真器高几倍。除非启动少量提升，否则这种渺小的老本累赘或者会阻碍端到端模型的彻底测试和验证。
车载部署的应战：智能驾驶须要实时决策，由于推理提前参与，在部署大型模型时面临严重应战。这就须要提升模型或将其提炼成适宜部署的更紧凑的方式，同时坚持性能和安保规范。成功模型尺寸、效率和质量之间的巧妙平衡关于智能驾驶系统在事实环球中的成功部署至关关键，也是未来钻研的关键畛域。
在本文中，咱们提出了EMMA，一种基于Gemini的智能驾驶端到端多形式模型。它将双子座视为一等公民，并将智能驾驶义务从新定义为视觉问答疑问，以顺应MLLM的范式，旨在最大限制地利用双子座的环球常识及其装备思想链工具的推理才干。与具备专门组件的历史级咨询统不同，EMMA间接将原始摄像头传感器数据映射到各种特定于驾驶的输入中，包括规划轨迹、感知目的和路途图元素。一切义务输入都示意为纯文本，因此可以经过义务特定的揭示在一致的言语空间中联结处置。实证结果标明，EMMA在多个公共和外部基准和义务上取得了最先进或具备竞争力的结果，包括端到端的规划轨迹预测、相机关键3D目的检测、路途图预计和场景了解。咱们还证实，单个联结训练的EMMA可以联结生成多个义务的输入，同时婚配甚至逾越独自训练的模型的性能，突出了其作为许多智能驾驶运行的多面手模型的后劲。
虽然EMMA显示出有宿愿的结果，但它仍处于早期阶段，在机载部署、空间推理才干、可解释性和闭环仿真方面存在应战和局限性。虽然如此，咱们置信咱们的EMMA发现将激起该畛域的进一步钻研和停顿。