近几年，智能驾驶技术的开展突飞猛进。从ECCV 2020的NeRF问世再到SIGGRAPH 2023的3DGS，三维重建走上了极速开展的路途！再到智能驾驶端到端技术的问世，与之相关的仿真闭环开局频繁出如今群众视线中，新兴的三维重建技术由此在智能驾驶畛域也逐渐焕发新机。2023年8月特斯拉颁布FSD V12；2024年4月商汤绝影颁布面向量产的端到端智能驾驶处置方法UniAD；2024年7月理想夏季颁布会宣称端到端正式上车，快系统4D One Model、慢系统VLM，并初次提出 『重建+生成』的环球模型测试打算 。
可以说，端到端+仿真闭环是当下智能驾驶开展的干流路途。但是仿真闭环提了很多年，究竟什么是仿真闭环？仿真闭环的**又是什么？三维重建又在闭环中起到什么样的作用？业内也不时在探讨，百花齐放。无论如何，闭环的目的是明白的，降低实车测试的老本大风险、有效提高模型的开发效率进而优化系统性能、测试各种corner case并优化整个端到端算法。
当天就和大家盘一盘智能驾驶中新兴的三维重建技术相关算法。
MARS: An Instance-aware, Modular and Realistic Simulator for Autonomous Driving（CICAI 2023）
清华AIR提出的首个开源智能驾驶NeRF仿真工具 ！如今智能驾驶汽车在普通状况下可以颠簸行驶，人们普遍以为，真切的传感器仿真将在经过仿真处置残余的corner case方面施展关键作用。为此，咱们提出了一种基于神经辐射场（NeRFs）的智能驾驶仿真器。与现有的上班相比，咱们有三个清楚的特点：
UniSim: A Neural Closed-Loop Sensor Simulator（CVPR 2023）
Waabi和多伦多大学在CVPR 2023上的上班：严厉测试智能驾驶系统关于成功安保的智能驾驶汽车（SDV）至关关键。它要求人们生成超入环球上安保搜集范围的安保关键场景，由于许多场景很少出当初公共路途上。为了准确评价性能，咱们须要在闭环中测试这些场景中的SDV，其中SDV和其余介入者在每个期间步相互作用。以前记载的驾驶日志为构建这些新场景提供了丰盛的资源，但关于闭环评价，咱们须要依据新的场景性能和SDV的选择修正传感器数据，由于或者会减少或删除介入者，现有介入者和SDV之间的轨迹将与原始轨迹不同。本文引见了UniSim，这是一种神经传感器模拟器，它将装备传感器的车辆捕捉的单个记载日志转换为事实的闭环多传感器模拟。UniSim构建神经特色网格来重建场景中的静态背景和灵活介入者，并将它们组合在一同，以在新视角仿真LiDAR和相机数据，减少或删除介入者以及新的位置。为了更好地处置外推视图，咱们为灵活指标引入了可学习的先验，并应用卷积网络来成功看不见的区域。咱们的实验标明，UniSim可以在下游义务中模拟具有较小域间隙的实在传感器数据。经过UniSim，咱们演示了在安保关键场景下对自主系统的闭环评价，就像在事实环球中一样。UniSim的关键奉献如下：
EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision
加利福尼亚大学的上班：本文提出了EmerNeRF，这是一种便捷而弱小的学习灵活驾驶场景时空示意的方法。EmerNeRF以神经场为基础，经过自举同时捕捉场景几何、外观、静止和语义。EmerNeRF依赖于两个**组件：首先，它将场景划分为静态和灵活场。这种分解纯正源于自监视，使咱们的模型能够从普通的、野外的数据源中学习。其次，EmerNeRF将灵活场中的感应流场参数化，并经常使用该流场进一步聚合多帧特色，从而提高了灵活指标的渲染精度。耦合这三个场（静态、灵活和流）使EmerNeRF能够自力更生地示意高度灵活的场景，而无需依赖GT标注或预先训练的模型进执行态指标宰割或光流预计。咱们的方法在传感器仿真中成功了最先进的性能，在重建静态（+2.93 PSNR）和灵活（+3.70 PSNR）场景时清楚优于以前的方法。此外，为了支持EmerNeRF的语义泛化，咱们将2D视觉基础模型特色优化到4D时地面，并处置了现代变形金刚中的普遍位置偏向疑问，清楚提高了3D感知性能（例如，职业预测精度平均相对提高了37.50%）。最后，咱们构建了一个多样化且具有应战性的120序列数据集，用于在极其和高度灵活的环境下对神经场启动基准测试。总结来说，本文的关键奉献如下：
NeuRAD: Neural Rendering for Autonomous Driving
Zenseact的上班：神经辐射场（NeRF）在智能驾驶（AD）畛域越来越受欢迎。最近的方法标明，NeRF具有闭环仿真的后劲，能够测试AD系统，并作为一种先进的训练数据增强技术。但是，现有的方法通常须要较长的训练期间、密集的语义监视或缺乏可推行性。这反上来又阻止了NeRFs大规模运行于AD。本文提出了NeuRAD，这是一种针对灵活AD数据量身定制的鲁棒新型视图分解方法。咱们的方法具有便捷的网络设计，对相机和激光雷达启动了宽泛的传感器建模，包括滚动快门、光束发散和光线降低，实用于开箱即用的多个数据集。咱们在五个盛行的AD数据集上验证了它的性能，片面成功了最先进的性能。
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes
北大&谷歌的上班：本文提出了DrivingGaussian模型，这是一个用于环顾灵活智能驾驶场景的高效和有效的框架。关于具有静止指标的复杂场景，DrivingGaussian首先经常使用增量静态3D高斯对整个场景的静态背景启动顺序和渐进的建模。然后应用复合灵活高斯图来处置多个静止指标，区分重建每个指标并复原它们在场景中的准确位置和遮挡相关。咱们进一步经常使用激光雷达先验启动 Gaussian Splatting，以重建具有更多细节的场景并坚持全景分歧性。DrivingGaussian在灵活驱动场景重建方面优于现有方法，能够成功高保真度和多相机分歧性的真切盘绕视图分解。总结来说，本文的关键奉献如下：
Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting（ECCV 2024）
浙大&理想在ECCV 2024上的上班：本文旨在处明智能驾驶场景中灵活城市街道的建模疑问。最近的方法经过将跟踪的车辆姿态联合到车辆动画中来裁减NeRF，成功了灵活城市街道场景的照片级真切视图分解。但是，它们的训练速度和渲染速度都很慢。为此本文引入了Street Gaussians，这是一种新的显式场景示意，可以处置这些限度。详细来说，灵活城市场景被示意为一组装备语义逻辑和3D高斯的点云，每个点云都与前景车辆或背景相关联。为了仿真前景指标车辆的动力学，每个指标点云都经常使用可优化的跟踪姿态启动优化，并经常使用4D球谐模型进执行态外观优化。显式示意准许轻松组合指标车辆和背景，这反上来又准许在半小时的训练内以135 FPS（1066×1600分辨率）启动场景编辑操作和渲染。该方法在多个具有应战性的基准上启动了评价，包括KITTI和Waymo Open数据集。实验标明在一切数据集上，所提出的方法一直优于最先进的方法。
GaussianPro: 3D Gaussian Splatting with Progressive Propagation
中科大&港大的上班：3DGS的出现最近在神经渲染畛域带来了一场反派，促成了实时速度的高品质渲染。但是，3DGS在很大水平上依赖于静止结构（SfM）技术发生的初始化点云。当处置无法防止地蕴含无纹理曲面的大规模场景时，SfM技术总是无法在这些曲面上发生足够的点，也无法为3DGS提供良好的初始化。因此，3DGS存在优化艰巨和渲染品质低的疑问。在这篇论文中，受经典多视图平面（MVS）技术的启示，咱们提出了GaussianPro，这是一种运行渐进流传战略来指点3D Gaussian致密化的新方法。与3DGS中经常使用的便捷宰割和克隆战略相比，咱们的方法应用场景现有重建几何的先验和补丁婚配技术来生成具有准确位置和方向的新高斯散布。在大规模和小规模场景上的实验验证了咱们方法的有效性，咱们的方法在Waymo数据集上清楚超越了3DGS，在PSNR方面提高了1.15dB。
LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes
加州大学欧文分校的上班：实在仿真在智能驾驶等运行中起着至关关键的作用，神经辐射场（NeRF）的提高可以经过智能创立数字3D资产来成功更好的可裁减性。但是，由于共线相机的大静止和高速下的稠密样本，街道场景的重建品质会遭到影响。另一方面，实践经常使用通常要求从偏离输入的相机视图启动渲染，以准确模拟车道变换等行为。在这篇论文中，咱们提出了几个见地，可以更好地利用激光雷达数据来提高街道场景的NeRF品质。首先，咱们的框架从激光雷达中学习几何场景示意，将其与隐式基于网格的示意融合用于辐射解码，然后提供显式点云提供的更强几何消息。其次提出了一种鲁棒的遮挡感知深度监视打算，该打算准许经过累积来应用密集的激光雷达点。第三本文从激光雷达点生成增强训练视图，以进一步改良。咱们的见地转化为在实在驾驶场景下大大改良的新视图分解。
Gaussian: Self-Supervised Street Gaussians for Autonomous Driving
UC Berkeley&北大&清华的上班：街道场景的实在感3D重建是开发智能驾驶仿真的关键技术。虽然神经辐射场（NeRF）在驾驶场景中的效率很高，但3DGS因其更快的速度和更明白的示意而成为一个有前景的方向。但是，大少数现有的街道3DGS方法须要跟踪的3D车辆边界框来分解静态和灵活元素以启动有效的重建，这限度了它们在自在场景中的运行。为了在没有标注的状况下成功高效的3D场景重建，咱们提出了一种自监视街道高斯（S3Gaussian）方法，用于从4D分歧性中分解灵活和静态元素。咱们用3D高斯散布来示意每个场景，以坚持其明白性，并进一步用时空场网络来紧缩4D动力学模型。咱们在具有应战性的Waymo Open数据集上启动了宽泛的实验，以评价咱们方法的有效性。咱们的S3Gaussian展现了分解静态和灵活场景的才干，并在不经常使用3D标注的状况下成功了最佳性能。
Dynamic 3D Gaussian Fields for Urban Areas
ETH和Meta的上班：本文提出了一种高效的神经3D场景示意方法，用于大规模灵活城市地域的新视图分解（NVS）。由于其有限的视觉品质和非交互式渲染速度，现有上班品不太适宜混合事实或闭环仿真等运行。最近，基于光栅化的方法以令人印象深入的速度成功了高品质的NVS。但是，这些方法仅限于小规模、平均的数据，即它们无法处置由于天气、节令和光照惹起的重大外观和几何变动，也无法裁减到具有数千张图像的更大、灵活的区域。咱们提出了4DGF，这是一种神经场景示意，可裁减到大规模灵活城城市域，处置异构输入数据，并大大提高了渲染速度。咱们经常使用3D高斯作为高效的几何支架，同时依赖神经场作为紧凑灵敏的外观模型。咱们经过全局尺度的场景图集成场景动力学，同时经过变形在部分层面建模关节静止。这种分解方法成功了实用于事实环球运行的灵敏场景分解。在实验中，咱们绕过了最先进的技术，PSNR超越3dB，渲染速度超越200倍。
StreetSurf: Extending Multi-view Implicit Surface Reconstruction to Street Views
上海AI Lab和商汤的上班：本文提出了一种新的多视图隐式外表重建技术，称为StreetSurf，该技术很容易运行于宽泛经常使用的智能驾驶数据集中的街景图像，如Waymo感知序列，而不必定须要LiDAR数据。随着神经渲染钻研的迅速开展，将其整合到街景中开局惹起人们的兴味。现有的街景方法要么关键关注新视图分解，很少探求场景几何，要么在钻研重建时重大依赖密集的LiDAR数据。他们都没有钻研多视图隐式外表重建，特意是在没有激光雷达数据的状况下。咱们的方法裁减了现有的以指标为中心的神经外表重建技术，以处置由非以指标为**、长而窄的相机轨迹捕捉的无解放街景所带来的共同应战。咱们将无解放空间划分为近距离、远景和天空三个部分，具有对齐的长方体边界，并驳回长方体/超长方体哈希网格以及路面初始化打算，以成功更精细和更复杂的示意。为了进一步处置无纹理区域和视角无余惹起的几何误差，咱们驳回了经常使用通用单目模型预计的几何先验。再加上咱们实施了高效细粒度的多级光线后退战略，咱们经常使用单个RTX3090 GPU对每个街道视图序列启动训练，仅需一到两个小时的期间，即可在几何和外观方面成功最先进的重建品质。此外，咱们证实了重建的隐式曲面在各种下游义务中具有丰盛的后劲，包括光线追踪和激光雷达模拟。
AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction
多伦多大学和华为诺亚的上班：真切的场景重建和视图分解关于经过仿真安保关键场景来推动智能驾驶系统至关关键。3DGS在实时渲染和静态场景重建方面体现杰出，但由于复杂的背景、灵活对象和稠密视图，在建模驾驶场景方面遇到了艰巨。咱们提出了AutoPlat，这是一个驳回Gaussian Splatting成功智能驾驶场景高度真切重建的框架。经过对示意路途和天空区域的高斯散布图施加几何解放，咱们的方法能够对包括车道变换在内的具有应战性的场景启动多视图分歧的模拟。应用3D模板，咱们引入了反射高斯分歧性解放来监视前景对象的可见面和无法见面。此外，为了模拟前景对象的灵活外观，咱们预计了每个前景高斯的残差球面谐波。在Pandaset和KITTI上启动的少量实验标明，AutoPlat在各种驾驶场景中的场景重建和陈腐视图分解方面优于最先进的方法。
DHGS: Decoupled Hybrid Gaussian Splatting for Driving Scene
长安汽车的上班：现有的GS方法在成功驾驶场景中令人满意的新视图分解方面往往无余，关键是由于缺乏巧妙的设计和所触及元素的几何解放。本文引见了一种新的神经渲染方法，称为解耦混合GS（DHGS），旨在提高静态驾驶场景新型视图分解的渲染品质。这项上班的陈腐之处在于，针对路途和非路途层的解耦和混合像素级混合器，没有针对整个场景的传对抗致差分渲染逻辑，同时经过提出的深度有序混合渲染战略依然坚持分歧和延续的叠加。此外，对由符号距离场（SDF）组成的隐式路途示意启动训练，以监控具有巧妙几何属性的路面。随同着辅佐传输损耗和分歧性损耗的经常使用，最终保管了具有无法发觉边界和高保真度的新图像。在Waymo数据集上启动的少量实验证实，DHGS的性能优于最先进的方法。