多模态融合技术已成为人工自动关键畛域，它触及未来自不同传感器、期间和空间的数据启动有效整合，以提高决策系统的功能。特意是在高危险的决策环境中，如医疗诊断、金融市场剖析和国防安保，准确预测人类决策体现关于防止失误和提高效率至关关键。多模态融合技术的运行前景宽广，它能够结合人类的生理信号（如脑电图EEG数据）和外部消息（如视觉图像），为咱们提供了一种全新的预测和剖析人类行为的方法。
本文解读的钻研成绩由一支跨学科团队实现，他们在多模态数据融合畛域的探求为咱们预测人类决策体现提供了新的视角。钻研团队由Xuan-The Tran、Thomas Do、Nikhil R. Pal、Tzyy-Ping Jung和Chin-Teng Lin等专家组成，他们区分来自澳大利亚科技大学的GrapheneX-UTS HAI Centre、印度统计钻研所的Electronics and Communication Sciences Unit以及加州大学圣地亚哥分校的Institute for Neural Computation和Institute of Engineering in Medicine。这个团队会集了工程技术、通讯迷信、神经计算和医学工程等畛域的顶尖专家，他们的协作钻研不只拓宽了多模态融合技术的运行范围，也为相关畛域的钻研提供了贵重的阅历和见地。6月8日，他们的论文《Multimodal fusion for anticipating human decision performance》在《人造》迷信期刊宣布。
他们钻研的关键奉献包括：
1.引入了一种具备应战性的决策制订范式，经过提供六个决策选项来降落正确猜想的或者性。
2.确定了作为决策准确性有效区分器的关键EEG特色。
3.提出了新的图像特色提取方法以增强决策预测准确性。
4.展现了多模态EEG和图像特色融合在预测人类决策体现方面优于繁多模态特色的优越性。
在接上去咱们将深化讨论这项钻研的方法论、实验设计、数据剖析和得出的论断，以及这些发现对未来钻研的启发和影响。经过这篇解读，咱们将能够更好天文解多模态融合技术在预测人类决策体现中的关键性和后劲。
相关上班
这项钻研提出了一种多模态机器学习方法，应用图像特色和脑电图（EEG）数据来预测人在复杂视觉搜查义务中的反响正确性。钻研中经常使用了一个陈腐的图像特色集，这些特色触及到对象相关，并经过Segment Anything Model(SAM)提取，与传统特色相比，这些特色能够提高预测准确性。此外，该方法有效地结合了EEG信号和图像特色，简化了随机森林分类器（RFC）所需的特色集，同时坚持了高准确率。这项钻研的发现关于开发先进的缺点警报系统具备严重后劲，特意是在医疗和进攻等关键决策环境中。
决策实践是钻研集体或群体如何做出选用的学科，它触及心思学、统计学、经济学和治理学等多个畛域。在实验心思学中，决策实践尤其关注如何在不确定性下做出最优选用。基本模型包括希冀成效实践、前景实践以及信号检测实践等。这些模型试图解释和预测人们在面对不同选项时的行为形式，如何权衡危险与报答，以及如何处置概率消息。在高危险环境中，如医疗诊断或金融投资，这些实践关于设计决策允许系统和评价决策品质具备关键意义。
脑电图（EEG）是一种记载大脑电优惠的技术，它经过测量头皮上的电位变动来捕捉神经元的群体优惠。在决策钻研中，EEG被用来提醒决策环节中的神经机制。特定的EEG波形，如事情相关电位（ERP）组件，可以反映决策相关的认知环节，例如留意力调配、消息加工和记忆检索。经过剖析这些波形，钻研人员能够更深化天文处置策环节中的大脑优惠，以及如何经过生理信号来预测决策结果。
多模态融合是指未来自不同传感器、模态或起源的数据结合起来，以提高消息的准确性和完整性。这项技术的开展始于早期的传感器融合钻研，随着期间的推移，它曾经扩展到包括视觉、听觉、触觉和生理信号在内的多种模态。在人工自动和机器学习的推进下，多模态融合技术曾经取得了清楚停顿，特意是在图像和语音识别、情感剖析以及社交媒体剖析等畛域。的钻研正在探求如何将这些技术运行于更复杂的义务，例如预测人类决策体现，其中EEG数据的融合为了解和预测决策提供了新的或者性。
钻研还引见了一种基于视觉搜查的新决策制订范式，经过结合EEG脑成像信号来剖析介入者在更具应战性的情境中的决策环节。为了参与视觉搜查义务的复杂性和应战性，钻研中经常使用了伪装对象。这种范式触及在图像中的六个子区域中识别伪装目的对象，从而将正确猜想反响的概率降落到1/6。此外，钻研应用EEG和图像特色来预测介入者决策的正确性，并运行多模态方法结合图像（作为消息起源）和EEG（作为大脑对消息的反响）特色来预测在具备应战性的视觉搜查义务中人类决策的准确性。
钻研方法
本钻研的实验设计旨在经过多模态融合技术预测人类在复杂视觉搜查义务中的决策体现。实验包括了经常使用图像特色和脑电图（EEG）数据作为输入，以训练机器学习模型启动预测。介入者由14名肥壮成年志愿者组成，他们在接受了详细的实验说明并签订知情赞同书后介入了实验。实验义务要求介入者在一系列视觉搜查义务中识别伪装的生物，这些义务设计来模拟事实生存中的决策场景。实验流程包括了提醒阶段、注视期、图像展现、反响期间和反应，旨在捕捉介入者在每个决策点的行为和生理反响。
EEG数据的搜集经常使用了Neuroscan Synamps 2加大器和64通道Quik-Cap，以1000 Hz的采样率记载介入者在实验环节中的脑电优惠。图像数据则来自地下可用的伪装图像数据集COD10K，这些图像经过调整以顺应实验的视觉要求。一切数据搜集均在严厉遵守伦理规范和隐衷包全的前提下启动。
从EEG数据中提取的特色包括事情相关电位（ERP）组件和振幅值，这些特色反映了大脑在决策环节中的优惠。图像数据的特色提取则包括色彩、对比度和图像品质等基本视觉属性，以及应用Segment Anything Model（SAM）提取的初级特色，如目的对象的大小、遮挡状况和核心成见。这些特色被用于训练随机森林分类器，以预测介入者在视觉搜查义务中的决策正确性。
随机森林分类器的参数设置对模型的功能有着关键影响。在本钻研中，分类器蕴含100棵树，每棵树的最大深度设置为10，以捕捉数据中的复杂形式同时防止过拟合。分类器的训练驳回了疏导抽样方法，并设置了“gini”作为决裂品质的权衡规范。此外为了确保结果的可重复性，设置了固定的随机形态，并驳回了平衡类权重的方法来调整训练环节中的类频率。这些参数的选用旨在优化分类器的预测才干，确保在多模态融合义务中到达最佳功能。
图1：随机森林分类器的功能在组级经常使用来自14名受试者的数据启动训练，经常使用各种特色集：前10个脑电图特色、前10个图像特色，以及前5个脑电图和5个图像特色的组协作为多形式方法。误差条示意5倍交叉验证的规范偏向。
图2：经过随机森林分类器识别的前10个关键图像和脑电图特色是关键特色剖析。
在这项钻研中，经过经常使用陈列测试和Bonferroni校对（EEGLAB工具箱中）启动了大平均事情相关电位（ERP）剖析，以确定哪些EEG通道及其期间段在正确和失误反响之间有清楚差异。钻研发现，九个ERP成分在正确和失误反响之间体现出统计学上的清楚差异，这些成扩散布在四个大脑区域（12个EEG通道）中。正确反响的振幅分歧高于失误反响。这些ERP成分的识别造成提取了540个EEG ERP特色，经常使用了五种特色提取方法。
此外钻研还启动了关键特色剖析，以确定对随机森林分类器最有影响的EEG和图像特色，并选用特色启动多模态分类器训练。结果显示，多模态特色在准确性、准确性和F1分数方面（区分为0.85、0.85和0.91）优于繁多的EEG特色（0.79、0.80、0.85）和图像特色（0.76、0.77、0.84）。
在集体数据集水平上训练随机森林分类器，以评价分类器模型预测介入者决策的才干。钻研比拟了模型的准确性与反映介入者决策行为体现准确性的“参考准确性”。假设模型的准确性超越参考准确性，标明它可以有效地识别正确和失误的介入者反响。关键发现包括：
1.多模态EEG-图像特色在一切受试者数据集中均优于繁多的EEG特色（t(14) = 3.05, p = 0.009）和图像特色（t(14) = 4.52, p = 0.0006）。
2.经常使用多模态EEG-图像特色的随机森林分类器的准确性在一切受试者数据集中均超越了参考准确性（t(14) = 7.34, p = 5.67e–6）。
3.EEG特色的体现并不比图像特色清楚更好（t(14) = 1.51, p = 0.15）。
4.在比拟繁多特色时，经常使用图像特色的分类器的准确性并没有清楚更好（t(14) = 1.14, p = 0.28），在S03、S05、S07和S14中未能超越参考准确性。相比之下，经常使用EEG特色的随机森林分类器的准确性清楚高于参考准确性（t(14) = 3.13, p = 0.008），但在S05、S12和S14中未能超越参考准确性。
5.在集体水平训练中，随机森林分类器的平均准确性高于群体水平训练的一切图像、EEG和多模态图像-EEG特色。详细来说，经常使用一切特色的群体水平训练的准确性、准确性和F1分数低于繁多受试者训练。
从地下可用的伪装图像数据集COD10K29当选取了200张图像。这些图像特色是在一个寻觅生物的应战场景中的单个生物。为了增强视觉明晰度并最小化搜查生物对象时的头部移动，一切图像都被调整大小到1000×600像素。图3展现了每次实验的环节。在每次实验开局时，会显示一个2秒的提醒，显示生物的种类，而后是1秒的注视期。随后，蕴含生物的图像显示3秒，由细网格线划分为六个等大小的区域。介入者被批示定位并指出世物所在的区域。在1秒的注视期后，他们有2秒期间经过按键盘上的1到6号键做出决策。一旦他们做出选用，对象的正确位置就会被突出显示2秒，而后是下一个实验开局前的2秒劳动期间。
图3：实验体现：在实验环节中，介入者识别出图像中的一只生物，并将其物种作为提醒。介入者经过按下键盘上的数字1-6来批示生物的位置。而后提醒正确的位置，让介入者评价他们的反响。例如，假设正确的位置在区域2中，则绿色边界框会高亮显示该区域。
图4:本钻研中的伪装物体与图像背景具备相似的色彩和形态特色。（a） 示例图像展现了各种目的对象特色，包括目的对象大小（VM-十分小、M-小、L-大和VL-十分大）、没有核心偏移（NoCB-位于图像的侧子区域1、3、4和6中的目的对象）、存在核心偏移（CB-位于图像的核心子区域2和5中的目的物体）、没有遮挡（NoOC-未被图像中的另一个对象笼罩的目的目的物体）和遮挡（OC-被另一个物体局部笼罩的目的物体。边界框用于在视觉上示意图像中目的对象的子区域位置。由分段恣意模型（SAM）宰割的目的对象的例子证明了宰割方法的高品质，即使关于小的或被遮挡的对象也是如此。（b） 热图显示了图像数据集中八个目的对象特色（NoCB、CB、NoOC、OC、VM、M、L、VM）的散布。（c） 弦图描述了图像数据集中的八个目的对象特色之间的相关性。目的对象大小（L、M和VM）与其余目的对象特性之间的相关性体现出良好的平衡相关。同样，或者因为图像数据集中VL目的对象的数量有限，触及VL对象大小的相关性较低。此外，虽然CB和NoCB与其余目的对象特性的相关性是平衡的，但触及OC和NoOC的相关性往往倾向于NoOC特性。
实验结果
这项钻研的关键目的是识别能够区分正确和失误决策的关键EEG特色。ERP剖析突出了枕叶、顶叶和中央顶叶大脑区域内的关键片段，作为预测决策准确性的关键区分起因。进一步剖析确定了对随机森林分类重视要的EEG特色，强调了顶叶区域EEG通道的关键性。这一发现与之前的钻研分歧，强调了顶叶皮层在视觉搜查和决策义务中的关键作用。
钻研的第二个关键目的是评价图像特色对决策结果的预测才干。经过经常使用传统和翻新的特色提取方法，包括SAM，钻研了基于图像的消息对决策正确性的影响。SAM方法明白了基本图像和目的对象特色之间的相关，对分类器特意有效。这突出了视觉消息在认知结果中的预测价值，与Li等人和Iigaya等人的钻研结果相照应，他们区分展现了图像特色在分类视觉品质和预测介入者选用行为中的后劲。
第三个目的是确定多模态融合的EEG和图像特色能否能够在预测决策准确性方面逾越繁多模态特色。经过严厉训练分类器经常使用多模态和繁多模态特色集，咱们分歧观察到多模态方法的优越性。这一发现与认知神经迷信和机器学习畛域日益增长的共识分歧，即整合多个数据源可以清楚提高模型准确性。相似的好处曾经在经常使用多模态数据的钻研中报告，例如EEG和眼动追踪用于情感和留意力分类，以及EEG与面部表情或语音信号用于情感识别。他们的结果进一步证明了多模态特色整合的有效性，标明这是一个提高认知迷信和决策钻研中预测模型的有前景的方向。
他们引入了一个以视觉搜查义务为核心的陈腐决策制订实验范式。这种范式旨在处置传统歧视性决策义务的局限性，特意是正确猜想的高或者性，经过将伪装对象作为目的。这种方法参与了义务的复杂性，要求介入者更多的留意力，从而引发了剖析所必须的更清楚的认知形式。这种方法论翻新是发明一个应战介入者并引发决策环节中弱小神经生理标志的义务环境的关键。
经过介入具备伪装目的的要求严厉的视觉搜查义务，他们进入了一个或者与现无关于决策中大脑灵活的发现不齐全分歧的畛域。他们的方法与Luck的钻研有相似之处，该钻研也讨论了在复杂视觉场景中的决策环节。这项钻研强调了EEG成分在视觉处置中的关键作用，关键观察到后脑区域的EEG成分。咱们的发现证明了这些成分在受试者启动的视觉搜查义务中的介入，并且咱们还识别了与决策环节和受试者从新评价其决策相关的早期正电位（LPP）和早期负电位（LNP）成分。这种解释获取了最近钻研的允许，丰盛了咱们对在视觉复杂义务中决策的神经基础的了解。
此外，这项钻研比拟了经常使用繁多模态EEG特色与图像特色的分类器功能，以及群体水温和集体水平训练之间的功能差异。他们的结果标明，EEG特色在分歧性上超越了图像特色，这一趋向咱们归因于EEG数据的灵活性质。与不足期间消息的静态图像特色不同，EEG数据在整个实验环节中延续搜集，捕捉大脑的极速反响以及实验和介入者之间的固有变同性。这丰盛的期间消息提供了与决策准确性相关的大脑优惠的更详细了解。集体水温和群体水平训练之间功能的区别是由介入者和实验条件之间的变同性驱动的。
在本钻研中，EEG特色的剖析提醒了决策环节中大脑优惠的复杂性。经过事情相关电位（ERP）组件的观察，钻研团队能够识别出与决策正确性相关的清楚脑区和期间段。例如，ERP成分如P300，其振幅变动与决策义务中的留意力调配和上班记忆处置亲密相关。这些发现不只允许了先前的神经迷信钻研，而且还提供了一种新的视角来了解在复杂视觉搜查义务中的决策灵活。经过准确测量和剖析这些ERP成分，钻研团队成功地预测了介入者在特定义务中的体现，准确率清楚高于随机水平，这证明了EEG特色在预测人类决策体现中的有效性。
图像特色的剖析并重于从视觉消息中提取决策相关的线索。钻研中经常使用的图像特色包括色彩、对比度、图像品质以及应用Segment Anything Model（SAM）提取的目的对象特色。这些特色反映了图像的视觉复杂性和目的对象的难以识别性，关于预测介入者在视觉搜查义务中的体现至关关键。实验结果标明，图像特色，特意是SAM提取的特色，能够清楚提高预测模型的准确性。这些特色经过提醒图像中的隐蔽消息，为理处置策环节中的视觉处置提供了贵重的洞见。
将EEG和图像特色结合起来的多模态方法在预测人类决策体现方面显示出了清楚的长处。多模态特色融合经过整合来自大脑优惠和视觉感知的消息，提供了一个更片面的决策体现预测框架。实验结果证明，多模态融合模型在准确性、准确性和F1分数等关键功能目的上均优于繁多模态模型。这标明，多模态融合技术能够有效地利用不同数据源中的互补消息，从而提高决策预测的准确性和牢靠性。
总体而言，这些实验结果强调了多模态融合在提高决策预测功能方面的后劲，为未来在高危险决策环境中开发先进的预测和警报系统提供了松软的迷信基础。
讨论
这项钻研也有一些值得关注的局限性。首先，相对较小的数据集（只要14个受试者）或者限度了咱们ERP发现的广泛性，并或者影响群体水平上分类器训练结果的稳固性或牢靠性。其次虽然图像特色提供了检测目的对象的应战洞见，但须要启动更片面的行为实验，具备不同的难度水温和受控条件，以准确确定每张图像的复杂性。这样的数据将使咱们能够更粗疏地剖析与对象检测义务相关的大脑灵活。他们方案扩展和多样化EEG和行为数据搜集，以处置这些限度并增强他们发现的持重性。
他们的钻研有效地展现了应用多模态EEG和图像特色来预测人类决策准确性的适用性。他们的结果标明，特意是来自顶叶皮层的EEG特色，清楚增强了分类模型的区分才干，这一点经过改良的分类目的获取了证明。此外他们引入了SAM作为提取图像特色的技术，这在提高分类器功能方面已被证明是有益的。经过在视觉搜查和决策义务中参与伪装对象来模拟事实环球的复杂性，他们的实验范式严密地反映了实践决策情境中遇到的应战，须要参与介入者的介入度。这些洞见为开发旨在预先提醒基于决策准确性预测模型的潜在人为失误的先进缺点警报系统铺平了路线。
本钻研经过多模态融合技术，即结合EEG和图像特色，为预测人类在复杂视觉搜查义务中的决策体现提供了新的视角。钻研结果关于了解人类决策环节具备关键意义，尤其是在提醒大脑如何处置多种消息源以做出决策的机制方面。这些发如今实践运行中的潜在价值渺小，特意是在须要极速准确决策的高危险环境中，如医疗诊断、紧急照应和安保监控等畛域。经过预测或者的失误决策，可以及时采取干预措施，从而缩小不良结果。
虽然钻研成绩令人鼓舞，但也存在一些局限性。首先样本大小相对较小，仅包括14名受试者，这或者限度了钻研结果的广泛性和分类器训练结果的稳固性。其次，特色选用或者遭到了现有技术和实践的限度，未来的钻研或者会发现更有效的特色组合。此外，模型的泛化才干也是一个关键疑问，的钻研或者不可齐全捕捉到不同集体和复杂环境下的决策行为。
未来的钻研可以在多个方向上启动拓展。首先可以经过参与样本量和多样性来验证和改良模型的泛化才干。其次可以探求更多种类的数据源和特色提取方法，以进一步提高预测准确性。此外，钻研可以扩展到其余类型的决策义务，以测试模型在不同情境下的适用性。钻研可以思索实时数据处置和决策预测，这关于开发实时监控和预警系统尤为关键。经过这些致力，多模态融合技术在预测人类决策体现方面的运行前景将愈加宽广。（END）
参考资料：