随着人工智能技术的飞速开展，3D言语模型（3D-LLMs）已成为钻研的热点，它们无了解和生成言语指令方面展现出了渺小的后劲。这些模型不只能够处置文本消息，还能了解和操作三维空间中的物体，这关于开展能够与物理环球互动的智能系统至关关键。
3D言语模型的**在于其能够将言语与三维场景严密结合。传统的大型言语模型（LLMs）如GPT和BERT等曾经在文本处置方面取得了清楚成就，但它们关键处置的是二维图像和文本数据。而3D-LLMs则是在此基础上的进一步裁减，它们能够处置和了解三维点云数据，从而在空间了解和物体操作方面提供更为丰盛的消息。
但是，3D-LLMs的开展仍面临一些应战，尤其是在数据集的构建和模型训练方面。目前，与二维图像和文本配对的数据集曾经十分丰盛，但专门针对三维场景和言语指令的大规模数据集还相对较少。这限度了模型无了解复杂三维环境中的才干。
为了处置这一疑问，钻研人员开发了3D-GRAND数据集，这是一个翻新的大规模数据集，蕴含了超越40,000个家庭场景和620万个与场景亲密相关的言语指令。这一数据集的推出，极大地推进了3D-LLMs在空间了解和言语生成方面的钻研，使模型能够更好地理解和形容复杂的三维环境。
此外，为了系统评价3D-LLMs在处置虚拟对象（即“幻觉”疑问）方面的体现，钻研人员还提出了3D-POPE基准测试。这一测试旨在经过一系列的评价义务，检测模型在确认三维场景中对象存在与否方面的准确性。
经过这些先进的数据集和评价工具，3D言语模型正在逐渐克制早期的限度，展现出在多种实践运行中的渺小后劲，例如在机器人技术、虚拟事实和智能化系统中的运行。这些钻研不只推进了人工智能技术的开展，也为咱们提供了一个全新的视角，来了解和发明与三维环球互动的智能系统。
3D-GRAND数据集的翻新与关键性
1. 数据集规模与密集低空实体关联
3D-GRAND数据集是一个开创性的大规模数据集，蕴含40,087个家庭场景和6.2百万个与场景亲密相关的言语指令。这种密集的短语到对象的低空实体关联是此数据集的一大特征，它极大地丰盛了3D言语模型的训练资料，使得模型无了解和生成与3D环境相关的言语时更为准确和人造。
2. 提高模型性能与缩小幻觉
经过在3D-GRAND上启动指令调整训练，清楚提高了3D言语模型的低空实体关联才干，并有效缩小了模型在生成言语时的幻觉现象。这一点在模型训练和评价中体现尤为突出，经过系统的试验验证，经常使用3D-GRAND数据集训练的模型在多个基准测试中都显示出优越的性能。
3. 允许多样化的言语义务
3D-GRAND不只仅允许基本的对象援用义务，还包括空间推理、场景了解等复杂的言语义务。这种多样化的义务允许使得3D-GRAND能够更片面地评价和训练3D言语模型，推进模型在更宽泛的运行场景中的部署和经常使用。
4. 高品质的注释和可裁减性
3D-GRAND的言语注释经过严厉的人工评价，确保了数据的高品质和多样性。此外，该数据集的设计思考到了未来的可裁减性，允许从仿真数据到实在环球数据的转换，这为经常使用分解数据启动3D文本了解提供了新的或者性。
5. 早期信号显示有效的仿真到事实的转换
初步结果标明，经过在3D-GRAND上训练的模型能够有效地转移到实在环球的3D扫描数据上，这为未来低老本、可继续的3D数据裁减提供了有力的早期信号。
总之，3D-GRAND数据集的引入不只处置了现有3D言语模型训练数据无余的疑问，还经过提供大规模、高品质和密集低空实体关联的数据，极大地推进了3D言语模型无了解和交互3D环境方面的钻研和运行。
3D-POPE基准测试：评价3D言语模型的幻觉行为
在3D言语模型（3D-LLMs）的钻研和运行中，一个关键的应战是如何准确地识别和处置模型在处置3D场景时或者发生的“幻觉”行为，即模型失误地识别或生成不存在的对象。为了系统地评价这一行为，咱们引入了一个全新的基准测试——3D-POPE（3D Polling-based Object Probing Evaluation）。
1. 3D-POPE基准测试的设计
3D-POPE旨在经过一系列规范化的测试来评价3D-LLMs在3D场景中对对象存在性的判别才干。这些测试包括向模型提出关于场景中某个对象能否存在的疑问，并依据模型的是或否回答来评价其性能。
为了构建这一基准测试，咱们从ScanNet数据集中筛选了一组场景，并经常使用ScanNet200的语义类别来定义测试对象。咱们特意关注模型关于对象存在性的判别才干，因此设计了一系列蕴含存在和不存在对象的疑问，以确保测试的片面性敌对衡性。
2. 采样战略
在构建3D-POPE测试集时，咱们驳回了三种不同的采样战略来选用负样本（即不存在的对象）：
这些战略的设计旨在应战模型的鲁棒性，评价其在不同级别的对象幻觉状况下的体现。
3. 性能评价目的
咱们经常使用几个关键目的来评价3D-LLMs在3D-POPE基准测试上的体现，包括准确度（Precision）、召回率（Recall）、F1分数、准确率（Accuracy）以及失误必需率（Yes %）。这些目的综合反映了模型在确认对象存在性方面的才干和牢靠性。
4. 地下排行榜
为了促成钻研社区的偏心比拟和协作，咱们设立了一个地下的3D-POPE排行榜，钻研人员可以提交他们的3D-LLM结果，并与其余最先进模型启动比拟。排行榜将依据上述评价目的显示每个模型的性能，为钻研人员提供一个透明和规范化的评价平台。
经过3D-POPE基准测试，咱们宿愿能够深化了解3D-LLMs在处置复杂3D场景时的对象幻觉疑问，为未来钻研提供指点，并推进更牢靠和准确的3D言语模型的开展。
试验设计与结果剖析
1. 试验设计
在本钻研中，咱们引入了一个全新的大规模数据集3D-GRAND，专为3D环境中的言语指令调整而设计。该数据集蕴含40,087个家庭场景，与6.2百万个密集地与场景言语指令相结合。为了评价3D言语模型（3D-LLMs）在处置这些数据时的体现，咱们设计了一系列试验，旨在测试模型在不同数据规模下的性能，并探求模型训练的有效性。
咱们还引入了一个新的基准测试3D-POPE（3D Polling-based Object Probing Evaluation），用于系统地评价3D-LLMs在对象幻觉方面的体现。这一基准测试经过提出存在性疑问来评价模型的回答，从而检测模型能否会发生幻觉——即失误地以为某个不存在的对象存在于场景中。
2. 结果剖析
2.1 3D-GRAND数据集的影响
经常使用3D-GRAND启动训练的结果显示，该数据集清楚提高了3D-LLMs的低空实在性（grounding）才干，并有效缩小了幻觉现象。详细来说，模型在3D-POPE基准测试中的体现优于一切基线模型，尤其是在随机抽样战略下，模型展现了93.34%的准确度和89.12%的准确率。这一结果强调了密集低空数据关于提高模型性能的关键性。
2.2 3D-POPE基准测试
在3D-POPE基准测试中，咱们驳回了多种抽样战略来评价模型关于不存在对象的识别才干。结果标明，虽然在更具应战性的抽样设置（如盛行和反抗样本）中体现存在降低，3D-GRAND模型依然能够维持较高的性能，显示出其鲁棒性。
2.3 数据规模与模型性能的相关
咱们的试验还提醒了数据规模与模型性能之间的正相关相关。随着训练数据的参与，模型在实在环球3D扫描数据上的体现也随之提高，这为经常使用分解3D场景数据启动训练提供了一种可行的战略，或者会在未来降低老本并提高模型的可访问性和裁减性。
3. 模拟到实在的转换
咱们的钻研结果提供了模拟到实在转换的初步信号，标明在大规模分解数据上训练的模型能够有效地迁徙到实在环球的3D扫描中。这一发现关于未来3D-LLMs的运行和开展具备关键意义，或者会推进3D视觉言语模型在更宽泛的实践运行中的部署。
经过这些试验和剖析，咱们不只验证了3D-GRAND数据集的有效性，也展现了大规模、密集低空数据在优化3D言语模型性能中的关键作用。咱们置信这些发现将为未来的钻研提供贵重的指点，并推进3D-LLMs在各种实践运行中的进一步开展。
模型的消融钻研与深化剖析
在深化剖析和消融钻研中，咱们关注的**是评价3D-LLMs在处置3D场景时的性能，尤其是在缩小幻觉（hallucination）和增强言语与3D场景的对应（grounding）方面的才干。经过对3D-GRAND数据集的经常使用，咱们能够系统地评价模型在这些关键义务上的体现。
1. 消融钻研的设计与实施
消融钻研的目的是经过系统地移除或修正模型的某些局部，来了解这些局部对模型性能的详细影响。在咱们的钻研中，特意关注了以下几个方面：
2. 深化剖析的关键发现
经过消融钻研，咱们失掉了一些关键的发现，这些发现协助咱们更好地理解3D-LLMs在处置3D言语义务时的行为：
这些发现不只增强了咱们对3D-LLMs行为的了解，也为未来钻研提供了 valuable insights，特意是在设计更高效和准确的模型结构以及创立更有效的训练数据集方面。
论断与未来展望
在本钻研中，咱们引见了3D-GRAND和3D-POPE两个翻新的资源，它们为3D言语模型（3D-LLMs）的开展提供了关键的允许。经过这些资源，咱们不只清楚提高了模型无了解和生成与3D场景亲密相关的言语指令的才干，还有效缩小了模型在生成环节中的幻觉现象。
1. 关键成绩
咱们的钻研初次在大规模的数据集上成功了3D场景与言语指令的密集配对，这在之前的钻研中是不曾有过的。3D-GRAND数据集蕴含超越40,000个家庭场景和620万条言语指令，这些指令与场景中的详细对象严密相关联。经常使用这一数据集启动训练的3D-LLMs在缩小幻觉和提高言语低空实在性（grounding）方面体现杰出。
此外，咱们还开发了3D-POPE基准测试，这是一个系统评价3D-LLMs在对象幻觉方面体现的工具。经过这一基准测试，咱们可以更偏心、更系统地比拟不同模型的性能，并进一步了解模型在处置复杂3D场景时的行为。
2. 未来的钻研方向
虽然咱们取得了必定的停顿，但在3D-LLMs的钻研畛域，仍有许多疑问须要处置。首先，虽然3D-GRAND数据集的规模曾经很大，但与事实环球的复杂多变相比，它依然有限。未来的上班可以探求如何进一步裁减这种类型的数据集，包括更多种类的3D场景和更复杂的言语指令。
其次，从模拟数据到实在环球数据的迁徙仍是一个应战。虽然咱们的模型在模拟数据上体现良好，但如何确保这些模型在事实环球中雷同有效仍需进一步钻研。这或者触及到新的模型架构或是更精细的训练战略。
最后，随着技术的开展，咱们预感到3D-LLMs将在更多实践运行中施展作用，如智能驾驶、机器人导航等畛域。因此，如何将这些模型有效地集成到详细的运行场景中，也是未来钻研的一个关键方向。
经过3D-GRAND和3D-POPE，咱们为3D-LLMs的钻研和运行提供了松软的基础。咱们等候未来的钻研能在此基础上，继续推进3D了解和交互技术的边界，最终成功更智能、更自主的机器人和虚拟代理人。
题目 : 3D-GRAND: Towards Better Grounding and Less Hallucination for 3D-LLMs
作者 : Jianing Yang, Xuweiyi Chen, Nikhil Madaan, Madhavan Iyengar, Shengyi Qian, David F. Fouhey, Joyce Chai
机构 : University of Michigan, New York University
链接 :
本文转载自，作者：