论文链接：
总结速览
处置的疑问
在大规模基础模型中，幻觉输入的生成是一个关键应战，特意是在高危险运行中。这种偏向或者影响模型的牢靠性和准确性。
提出的打算
建设了幻觉的准确定义和结构化分类，识别出造成不同模态中幻觉出现的关键起因和机制。提出了多模态环境中处置幻觉疑问的检测缓和解战略。
运行的技术
到达的成果
为钻研人员和通常者提供了一个明晰的框架，协助识别缓和解基础模型中的幻觉疑问。这一框架为未来在该畛域的钻研奠定了基础，并提供了最新停顿的扼要概览。
大言语模型中的幻觉
虽然大言语模型（LLMs）取得了停顿，但它们容易发生幻觉的清楚应战依然存在，阻碍了其实践运行。例如，下图3中的插图展现了由LLM生成的照应，显示了幻觉的迹象。
幻觉检测缓和解
识别大言语模型（LLMs）中的幻觉关于确保其结果的可信性和牢靠性至关关键，尤其是在须要理想准确性的场景中。现有的理想核对方法通常依赖复杂的模块或外部数据库，须要输入概率散布或与外部资源接口。SelfCheckGPT提供了一种零资源的黑箱处置打算，用于检测任何LLM中的幻觉，而无需依赖外部资源。该方法基于这样一个准则：对某个主题相熟的LLM将在其照应中发生分歧且可比的理想。同样，来自不相熟主题的随机采样照应或者蕴含矛盾和幻觉的理想。
继续探求段落级幻觉检测的方法，Yang等提出了一种基于反向验证的新型自检方法，旨在智能识别不依赖外部资源的理想失误。他们引入了一个基准——段落级幻觉检测（PHD），经常使用ChatGPT生成并由人类专家注释，以评价不同的方法。评价LLM生成的长文本的准确性具备应战性，由于它通常蕴含准确和不准确的消息，使得便捷的品质判别无余以应答。为了处置这一疑问，Min等引入了FACTSCORE（原子性评分中的理想精度），一种新的评价方法，将文本分解为独自的理想并测量其牢靠性。Huang和Chang经过与成熟的网络系统启动类比，引入了一种共同的战略来减轻LLM中的幻觉危险。他们指出缺乏“援用”机制，即抵赖或援用起源或证据，是一个清楚的缺口。
为了处置识别大言语模型（LLM）生成内容中的理想不准确疑问，Rawte等人（2024b）开发了一个多义务学习（MTL）框架，集成了先进的长文本嵌入技术，如e5-mistral-7b-instruct，以及GPT-3、SpanBERT和RoFormer等模型。该MTL方法在FACTOID基准测试中体现出清楚的功能优化，平均准确率提高了40%，相比上游的文本蕴涵方法。幻觉缓解上班关键依赖于阅历方法，关于齐全消弭幻觉的或者性仍存在不确定性。为应答这一应战，Xu等人（2024b）引入了一个方式化框架，将幻觉定义为可计算的LLM与实在函数之间的差异。经过该框架，钻研调查了现有的幻觉缓解战略及其在实践LLM部署中的实践影响。
Rawte等人（2024c）引入了“Sorry, Come Again”（SCA）提醒技术，以处置现代LLM中的幻觉疑问。SCA经过驳回最佳释义和拔出[PAUSE]tokens来提前LLM生成，以增强了解力。它剖析了提醒中的言语纤细差异及其对幻觉生成的影响，强调了由可读性、正式性或详细性较低的提醒带来的艰巨。Rawte等人（2023a）钻研了LLM如何照应理想正确和不正确的提醒，将其幻觉分为细微、中等和严重子类别。此外，论文引入了幻觉引发数据集（Hallucination eLiciTation>特定畛域的上班
幻觉在医疗、金融和法律等关键畛域中形成严重危险。这些畛域中，牢靠性和准确性至关关键，由于任何方式的幻觉都或者造成严重和不利的结果。
医学畛域
针对医学畛域大言语模型中的幻觉，Pal 等人（2023）引入了医学畛域幻觉测试（Med-HALT），这是一个专门用于评价和减轻幻觉的基准数据集。Med-HALT 蕴含来自多个国度的医疗记载的多样化国内数据集，总共涵盖七个数据集。Ahmad 等人（2023）概述了创立牢靠、可信和无成见模型的基本步骤，强调了在医疗背景下量化、验证和减轻幻觉的必要性。Ji 等人（2023）引入了一种互动自反思方法，旨在提高经常使用大言语模型的医学识答系统生成的答案的准确性和连接性。经过知识失掉和对答案生成的反应，这一方法提高了照应的理想性、分歧性和逻辑停顿。
金融畛域
一项实证钻研讨论了大言语模型（LLMs）在金融优惠中发生幻觉的偏向。Kang和Liu（2023）启动了这方面的实证调查，评价了LLMs在解释金融概念和查问历史股价方面的才干，并钻研了诸如少样本学习和基于提醒的工具学习等方法在减轻幻觉方面的成果。Roychowdhury等人（2023）提出了一种陈腐的基于Langchain的方法，旨在将数据表转换为分层的文本数据块，以促成多样化的金融问答。该框架包括按用意分类用户查问、检索相关数据块、生成定制的LLM提醒，并评价照应的幻觉和置信度。
法律畛域
传统的形象文本摘要方法通常驳回编码器-解码器架构，其中编码器提取源文本的精髓，而解码器生成摘要。但是，这种方法或者会发生蕴含有关或不准确消息的摘要，这在法律畛域中尤为令人担心，由于准确性至关关键。为了处置这些疑问，Feijo和Moreira（2023）引入了LegalSumm，它创立源文本的不同“视图”，训练摘要模型生成独立的摘要，并经常使用蕴涵模块评价其与源文本的合乎性。Deroy等人（2023）经过将最先进的模型运行于印度法院案件，钻研了大型言语模型生成案件裁决形象摘要的预备状况。虽然形象模型的得分通常略高，但作者留意到生成的摘要中存在不分歧和幻觉。
了解开明性法律术语的含意对法律专业人士十分关键。他们经常检查这些术语在先前法院案件中的经常使用和解释。Savelka等人（2023）评价了GPT-4在生成法律术语的理想准确、明晰和相关解释方面的体现。比拟了基线方法（GPT-4间接解释法律术语）和增强方法（经常使用法律消息检索模块提供来自判例法的高低文句子）。Dahl等人（2024）初次提供了法律畛域中不准确性的频率和类型的证据，为评价法律背景下的大型言语模型提供了贵重的见地。经过审核美国判例法的结构化格局，钻研评价了三个关键的大型言语模型：GPT-3.5、PaLM 2和Llama。
基准评价
在某些状况下，大型言语模型会出现一种被称为“幻觉滚雪球”的现象，即它们会假造虚伪申明来正当化先前的幻觉，虽然它们抵赖这些消息是不准确的。为了实证钻研这一现象，Zhang等人（2023a）设计了三个逾越不同畛域的疑问答双数据集，其中ChatGPT和GPT-4经常提供不准确的答案，并附带至少一个虚伪申明的解释。值得留意的是，钻研标明言语模型可以识别这些虚伪申明为不正确。另一个基准数据集FactCHD（Chen等人，2023b）被引入用于检测复杂推理背景下的理想抵触幻觉。该数据集涵盖了不同理想形式的数据集，并整合了基于理想的证据链以提高评价准确性。Li等人（2023b）引入了一个数据集，用于评价大型言语模型识别和识别幻觉或失误消息的才干。结果显示，ChatGPT偏向于在某些主题上生成幻觉内容，引入无法验证的消息。
大视觉言语模型中的幻觉
大型视觉言语模型（LVLMs）因其同时处置视觉和文本数据的才干而在AI社区中遭到宽泛关注。但是，与LLMs相似，LVLMs也面临幻觉疑问。下图4展现了一个视觉幻觉的例子，其中模型或者会曲解或失误生成图像中的消息。
幻觉检测缓和解
Dai 等人（2022）钻研了视觉言语预训练（VLP）模型中的物体幻觉疑问，即这些模型生成的文本形容基于输入图像蕴含不存在或不准确的物体。Li 等人（2023f）提醒了宽泛且严重的物体幻觉疑问，并指出视觉指令或者会影响幻觉的发生。他们观察到，在视觉指令中经常出现或与图像对象共同出现的物体更容易发生幻觉。为了增强物体幻觉的评价环节，作者引入了一种基于投票的查问方法，称为 POPE，该方法在评价物体幻觉方面体现出更好的稳固性和灵敏性。缺乏规范化的评价目的阻碍了对物体幻觉疑问的了解和处置。为了处置这一差距，Lovenia 等人（2023）引入了 NOPE（Negative Object Presence Evaluation），这是一个经过视觉问答（VQA）评价视觉言语模型（VLMs）中物体幻觉的基准。
钻研应用大型言语模型生成了一个蕴含 29.5k 分解负代词（NegP）实例的数据集用于 NOPE。它片面评价了 10 个 VLMs 在检测视觉疑问中物体缺失的才干，此外还评价了它们在其余九个 VQA 数据集上的典型体现。现有钻研关键关注物体幻觉，漠视了大型视觉言语模型（LVLMs）的幻觉。Liu 等人（2024b）深化钻研了外在视觉言语幻觉（IVL-Hallu），并提出了几个新的 IVL-Hallu 义务，包括属性、物体、多模态抵触和失知识幻觉。他们引入了一个具备应战性的基准数据集来评价和探求 IVL-Hallu，并对五个 LVLMs 启动了试验，结果显示它们在处置所提出义务方面的有效性有限。为在不依赖低廉训练或 API 的状况下减轻 LVLMs 中的物体幻觉，Zhao 等人（2024）引入了 MARINE，这是一种无需训练和 API 的处置打算。MARINE 经过结合现有的开源视觉模型并应用无分类器指点来整合物体定位特色，从而增强 LVLMs 的视觉了解，提高生成输入的准确性。对六个 LVLMs 的评价标明，MARINE 在缩小幻觉和增强输入细节方面的有效性，经过经常使用 GPT-4V 的评价失掉了验证。
虽然在多模态义务上取得了停顿，但LMMs经常生成与图像或人类指令不分歧的形容。为了处置这个疑问，Liu等人（2023）开发了LRV-Instruction，这是一个蕴含40万条视觉指令的综合数据集，涵盖16个义务。该数据集蕴含各种格谐和语义档次的侧面和负面指令。经过LRV-Instruction，现有LMMs的幻觉疑问失掉了宽泛钻研，证明了其在增强视觉指令调优方面的有效性。此外，他们引入了GAVIE，这是一种无需人工标注答案即可评价视觉指令调优的新方法，可以顺应不同类型的指令。
LVLM幻觉批改算法（LURE）旨在经过优化形容来纠正LVLM中的对象幻觉，从而生成更准确且幻觉更少的输入。其方法基于深化的统计剖析，识别出造成对象幻觉的关键起因，如图像中某些对象的共现、LVLM解码环节中与对象相关的不确定性，以及生成文本开端出现幻觉的趋向。LURE设计为可无缝集成到各种LVLM中。在多个LVLM中启动测试时，LURE的集成清楚优化了对象幻觉的纠正成果，在多种目的下的GPT和人工评价中均继续优于其余方法。
基准评价
开发多模态大型言语模型（LVLMs）的方法严重依赖于带注释的基准数据集，这些数据集或者存在畛域偏向，限制了模型的生成才干。为了处置这个疑问，Li等人（2023e）提出了一种陈腐的数据搜集方法，该方法同步分解图像和对话用于视觉指令调优，生成了少量图像-对话对和多图像实例的数据集。Huang等人（2024）引入了VHTest，这是一个蕴含1,200个多样化视觉幻觉（VH）实例的基准数据集，笼罩8种VH形式。对三种SOTA多模态大型言语模型（MLLMs）的评价显示，GPT-4V的幻觉率低于MiniGPT-v2。
Rawte等人（2024a）将视觉幻觉在视觉言语模型（VLMs）中分类为八个方向，并引入了一个蕴含2,000个样本的数据集，涵盖这些类型。他们提出了三种关键的减轻幻觉的方法：数据驱动的方法、训练调整和后处置技术。此外，Wang等人（2024）提出了视觉指令生成与批改（VIGC）框架，以处置MLLMs高品质指令调优数据的充足疑问。VIGC使MLLMs能够生成多样化的指令调优数据，同时经过视觉指令批改（VIC）迭代地提高其品质，从而降落幻觉危险。该框架生成多样化的高品质数据用于微调模型，经过评价验证，优化了基准功能，并克制了仅言语数据的局限性。
大型视频模型中的幻觉
大型视频模型（LVMs）代表了一项严重提高，能够大规模处置视频数据。虽然它们在视频了解和生成等各种运行中具备后劲，但LVMs面临幻觉疑问，即对视频帧的曲解或者造成生成虚伪或不准确的视觉数据。这个疑问的发生是由于视频数据的复杂性，须要模型启动彻底的处置和了解。下图5展现了在LVMs中观察到的幻觉实例。
幻觉检测缓和解
密集视频字幕生成的复杂义务触及为延续视频中的多个事情创立形容，这须要对视频内容和高低文推理启动深化了解，以确保生成准确的形容。但是，这一义务面临诸多应战，或者造成不准确和幻觉现象（Iashin and Rahtu, 2020; Suin and Rajagopalan, 2020）。
传统方法先检测事情提议，而后为子集生成字幕，但由于漠视期间依赖性，或者造成幻觉。为了处置这一疑问，Mun等（2019）提出了一种新方法，经过建模期间依赖性和应用高低文启动连接叙说。经过集成事情序列生成网络和经常使用强化学习及两级鼓励训练的顺序视频字幕生成网络，该模型更有效地捕捉高低文消息，从而生成连接准确的字幕，并最大限制地缩小幻觉危险。Liu和Wan（2023）引入了一种新的弱监视、基于模型的理想性目的FactVC，其体现优于以往目的。此外，他们提供了两个注释数据集，以促成视频字幕理想性评价的进一步钻研。Wu和Gao（2023）提出了一种高低文感知模型，该模型结合了过去和未来事情的消息，以有条件地影响事情的形容。他们的方法应用弱小的预训练高低文编码器来编码关于周围高低文事情的消息，而后经过门控留意机制将其集成到字幕生成模块中。在YouCookII和ActivityNet数据集上的试验结果标明，所提出的高低文感知模型清楚优于现有的高低文感知和预训练模型。为了增强密集视频字幕生成，Zhou等（2024）引入了一种流式模型，该模型包括一个用于处置长视频的记忆模块和一个流式解码算法，使得在视频成功之前即可启动预测。这一方法清楚优化了在YouCook2、ActivityNet和ViTT等关键密集视频字幕生成基准上的体现。
视频填充和预测义务关于评价模型了解和预测视频序列中的期间灵活的才干至关关键（Höppe et al., 2022）。为此，Himakunthala等（2023）引入了一个推理期间应战数据集，其中蕴含带有密集字幕和结构化场景形容的关键帧。该数据集提供了补充有非结构化密集字幕和结构化FAMOUS（焦点、举措、心情、物体和环境）场景形容的关键帧，为模型了解视频内容提供了有价值的高低文消息。他们经常使用了GPT-3、GPT-4和Vicuna等言语模型，并驳回贪心解码来减轻幻觉危险。
最近在视频修复方面取得了清楚停顿，特意是在光流等显式指点协助跨帧流传缺失像素的状况下（Ouyang et al., 2021）。但是，由于缺乏跨帧消息，依然存在艰巨和限制。Yu等（2023b）旨在处置同样的疑问，而不是依赖经常使用其余帧的像素。所提出的方法是一个缺陷感知的掩码Transformer（DMT），这是一种双模态兼容的修复框架。该方法经过预训练图像修复模型作为训练视频模型的先验，改善了处置消息不完整场景的才干。
了解场景可供性，即场景中或者的举措和交互，关于了解图像和视频至关关键。Kulal等（2023）引见了一种将人物真切拔出场景的方法。该模型经过推断基于高低文的真切姿态，确保视觉上令人愉悦的构图，将集体无缝整合到场景中。Chuang和Fazli（2023）引见了CLearViD，这是一种基于Transformer的模型，应用课程学习技术来增强功能。经过驳回这种方法，模型取得了更弱小和更具泛化性的特色。此外，CLearViD引入了Mish激活函数来处置诸如梯度隐没的疑问，从而经过引入非线性和非干燥性来降落幻觉危险。宽泛的试验和消融钻研验证了CLearViD的有效性，在ActivityNet Captions和YouCook2数据集上的评价显示出在多样性目的方面相较现有SOTA模型的清楚改良。
基准评价
Zhang等（2006）发明了一种翻新的两级档次融合方法，从训练视频样本中仅经常使用一张中性表情的侧面人脸图像生成面部表情序列。为了有效地训练系统，他们引入了一个专门为面部表情幻觉设计的数据集，其中蕴含112个视频序列，涵盖28团体的四种面部表情（快乐、愤怒、惊讶和恐怖），从而在期间和空间域中生成正当的面部表情序列，并缩小伪影。在视频了解畛域，端到端的以聊天为中心的系统的开发已成为一个日益增长的兴味畛域。Zhou等（2018）组建了YouCook2数据集，这是一个宽泛的烹饪视频集，具备期间定位和形容的程序段，以促成程序学习义务。Li等（2023c）引见了“VideoChat”，这是一种经过可学习的神经接口集成视频基础模型和大型言语模型（LLM）的新方法，以增强视频了解中的时空推理、事情定位和因果相关推断。钻研人员构建了一个以视频为中心的指令数据集，蕴含详细的形容和对话，强调时空推理和因果相关。为应答模型幻觉，他们驳回多步骤环节，经常使用GPT-4将视频形容稀释为连接的叙说，并加以改良以提拙劣晰度和连接性。为探求推断场景可供性（affordances）的应战，Kulal等（2023）筹划了一个蕴含240万段视频剪辑的数据集，展现了与场景高低文相符的各种正当姿态。
大型音频模型中的幻觉
大型音频模型（LAMs）在音频处置和生成畛域中成为了一种弱小的工具，运行范围宽泛，包括语音识别、音乐剖析、音频分解和字幕生成（Latif等，2023；Ghosal等，2023）。虽然这些模型在各个畛域展现了出色的才干，但它们易于出现幻觉。这些异常或者体现为多种方式，从经过拼接虚拟片段创立不实在的音频，到在摘要中拔出失误消息，如引言或理想。此外，它们或者无法准确捕捉音频信号的固有特色，如音色、音高或背景噪音（Shen等，2023）。
幻觉检测缓和解
在音频字幕生成畛域，即智能生成音频片段的人造言语形容时，一个关键应战是音频-文本模型在预训练环节中适度依赖视觉模态。这种依赖引入了数据噪声和幻觉，最终削弱了生成字幕的准确性。为了处置这个疑问，Xu等（2023a）引入了一种AudioSet标签疏导的模型，用于疏导大规模音频-文本数据（BLAT）。值得留意的是，该模型防止了视频的经常使用，从而最大限制地缩小了与视觉模态相关的噪声。跨检索、生成和分类等多项义务的试验结果验证了BLAT在减轻幻觉疑问上的有效性。
语音情感在人与人交换中起着至关关键的作用，并在语音分解和人造言语了解等畛域有宽泛运行。但是，传统的分类方法或者无法捕捉到人类语音中传达的细腻且复杂的情感（Jiang等，2019）、（Han等，2021）、（Ye等，2021）。SECap（Xu等，2024a）是一个为语音情感字幕设计的框架，旨在经过人造言语捕捉语音的复杂情感纤细差异。SECap应用包括LLaMA作为文本解码器、HuBERT作为音频编码器以及Q-Former作为Bridge-Net的各种组件，基于语音特色生成连接的情感字幕。
虽然音频言语模型具备零样本推理的才干，但在弱小功能的同时，仍面临着诸如幻觉特定义务细节等应战。为了处置这个疑问，Elizalde等（2024）引入了对比言语-音频预训练（CLAP）模型。CLAP经过460万对多样化的音频-文本对启动预训练，驳回双编码器架构，增强了示意学习，从而在声响、音乐和语音畛域成功更好的义务泛化。
基准评价
为了应答音乐字幕畛域数据稀缺的疑问，Doh等（2023）引入了LP-MusicCaps，这是一个综合数据集，包括50万段音频片段和大概220万条字幕。他们应用大型言语模型（LLMs）训练了一个基于Transformer的音乐字幕生成模型，并在零样本和迁徙学习场景下评价其功能，体现出相关于监视基线模型的优越性。
Nishimura等（2024）钻研了大型音视频言语模型中的音频幻觉疑问，这些模型关键基于视觉消息生成音频形容，而疏忽了音频内容。他们将这些幻觉分为三种类型：触及对象和举措的幻觉、对象准确但举措幻觉、举措正确但对象幻觉。在他们的钻研中，他们经过搜集音频消息失掉了1000个句子，并对其启动标注以确定能否蕴含听觉幻觉，假设检测到则进一步分类幻觉类型。
为了评价大型音频模型（LAMs）的组合推理才干，Ghosh等（2023）引入了CompA，蕴含两个关键关注实在音频样本的专家标注基准。这一基准用于经过一种陈腐的学习方法微调CompA-CLAP，优化其组合推理才干，并在须要组合推理的义务中体现出相关于一切基线模型的清楚改良。
幻觉：好还是坏？
大型模型中的幻觉现象出现登程明力与不确定性之间的复杂互动。一方面，逾越惯例数据边界的才干可以发生陈腐和翻新的输入。幻觉可以激起探求性学习，提醒数据中意想不到的形式和特色。它们还可以作为压力测试的一种方式，提高模型的鲁棒性和顺应性。此外，这些异常的输入甚至可以激起人类的发明力，成为新想法和新视角的跳板（Rawte等，2023b）。但是，幻觉的这种双重性质也带来了清楚的缺陷。幻觉输入的品质和连接性或者存在疑问，在准确性和牢靠性至关关键的运行中带来应战。幻觉还或者流传模型训练数据中存在的失误消息和成见，或者加深现有的成见并削弱用户信任。这些输入的可解释性降落或者进一步削弱模型的可信度和驳回率。当幻觉发生不当、触犯或有害内容时，会引发伦理疑问。必定启动细心的监控和控制机制，以防止发生或者对用户形成损伤或困扰的输入。在探求与虔诚度之间找到这种巧妙的平衡，关于在最大化大型模型成效的同时减轻异常输入相关危险至关关键。总体而言，大型模型中的幻觉现象突显了对这些才干启动粗疏了解和战略治理的必要性。
限制
先前的综述论文关键关注大型言语模型中的幻觉现象，并未宽泛涵盖视觉、音频和视频模态中的幻觉。在这篇综述论文中，咱们的目的是片面概述一切模态中的幻觉现象，思考到幻觉或者出如今任何大型基础模型中。虽然咱们致力提供关于一切基础模型中幻觉技术的最新停顿的片面总结，但咱们抵赖或者会遗漏该畛域的一些相关钻研。
未来方向
钻研人员正在踊跃钻研幻觉缓解技术，由于在敏感畛域中，生成虚拟或失误内容的应战或者会发生严重结果（Tonmoy et al., 2024; Rawte et al., 2023b）。以下是处置这些基础模型中幻觉疑问的潜在方向：
数据资源： 最近的钻研强调了在精心筹划的高品质样本上启动便捷微调的成果，这种方法在缩小幻觉方面超越了大规模微和谐强化学习方法。在知识密集型畛域，开发以实体为中心的微调指令，整合起源于知识图谱的结构化知识，有望提高准确性和相关性。此外，针对特定义务或畛域的对齐技术已被证明在缓解幻觉方面有效。随着该畛域钻研的停顿，估量将有更多资源专一于经过义务特定或畛域顺应的方法改善对齐，从而进一步增强言语模型在生成理想和可信内容方面的牢靠性。
智能化评价： 开发思考诸如理想准确性和连接性等起因的专门评价目的关于幻觉检测十分有用。将智能化评价与经过众包启动的人类判别相结合，可以捕捉到智能化系统独自难以检测的纤细方面。此外，还在开发反抗性测试方法，经过设计输入来暴露AI系统的弱点，增强其对幻觉的抵制力。此外，在强调理想核对和准确性的数据集上微调基础模型提供了另一种提高内容牢靠性和缩小幻觉出现的方法。
改良检测缓和解技术： 缓解基础模型中的幻觉须要应用推理机制、知识图谱集成、专门的理想核对模型、偏向缓解技术和被动学习方法的多方面方法。诸如Chain of Thought（CoT）和Tree of Thought（ToT）等新兴技术增强了这些模型的推理才干，或者缩小幻觉。整合知识图谱有助于了解理想消息和概念相关，从而允许内容生成和理想核对。专门的验证模型经过与筹划的知识启动交叉援用来识别不准确之处，而偏向检测缓和解技术促成偏心性。最后，治理AI开发中筹划知识担任任经常使用的伦理指南和监管框架可以降落危险并增强群众信任，从而全体提高AI生成内容的品质、准确性和可信度。
多模态幻觉： 处置多模态大型基础模型中的幻觉须要逾越数据中心举措、跨模态对齐致力、架构翻新、规范化基准、重构幻觉以及增强可解释性和信任的综合方法。数据中心技术确保多样化和高品质的训练数据的持重搜集、增强和校准。跨模态对齐专一于经过复杂的架构对齐跨模态的示意。模型架构的提高触及设计能够有效处置复杂言语和视觉输入的公用模型。建设一致的目的和规范化基准可以准确评价幻觉和牢靠的功能评价。将幻觉重构为一种个性讨论其在下游运行中的集成，优化人类体验。最后，开发用于解释模型行为、可视化外部结构和改良牢靠性评价的技术，有助于增强对多模态大模型的信任。这种多方面的方法共同处置了关键的幻觉应战，为更牢靠和值得信任的多模态AI系统铺平了路线。
论断
这篇综述论文系统地分类了基础模型中幻觉现象的现有钻研，提供了对关键方面的片面见地，包括检测、缓解、义务、数据集和评价目的。文章讨论了幻觉在基础模型中宽泛的影响，抵赖其在各个畛域中的影响。经过钻研检测缓和解技术的最新停顿，论文强调了处置这一应战的关键性，鉴于基础模型在关键义务中的无法或缺性。其关键奉献在于引入了一个结构化的分类法，用于对基础模型中的幻觉启动分类，涵盖文本、图像、视频和音频畛域。
原文链接: