韦仕敦大学的研究人员

通过4D成像技术揭示大脑

如何在现实世界中运作。

这项脑成像技术

将有助于推动人工智能视听分析！

（由韦仕敦大学的博士生Yu Hu和计算机科学教授Yalda Mohsenzadeh开发的新型4D成像技术揭示了大脑如何处理多感官视听信息。）

❒  ❒ ❒

你是否好奇过大脑是如何从各种环境中接收形形色色的视觉和听觉信号，然后无缝地让我们感知到周围发生的事物？

由韦仕敦大学研究人员领导的一项新研究通过开发一种以时间为第四维度的新型4D成像技术，揭示了大脑如何处理多感官的视听信息。研究人员重点关注大脑同时处理视觉和听觉输入时的独特交互机制。

韦仕敦大学计算机科学教授Yalda Mohsenzadeh与博士生Yu Hu对研究参与者使用了功能磁共振成像（fMRI）和脑电图，以分析他们对60段带声音的视频片段的认知反应。结果显示，大脑的初级视觉皮层同时对视觉和低层级听觉输入产生响应，而初级听觉皮层仅处理听觉信息。  

这项发表于“生物通讯 (Communications Biology)”期刊的研究成果，可能会影响未来人工智能算法处理视听数据的方式。目前许多程序仅通过图像和视频分析现实世界中诸如“猫”、“海滩”、“烤面包机”等事物，却未整合声音信息。

在这项研究中，Mohsenzadeh和Hu向实验的参与者展示了一系列时长为1秒的自然场景或现实世界视频片段，并通过磁共振成像扫描仪及脑电图设备收集大脑活动的空间和时间信息。

Mohsenzadeh表示：“我们的大脑在处理视觉信息方面高度优化，这是神经科学中已得到充分证实的结论。许多研究也揭示了听觉信息在大脑中的处理方式，而视觉在塑造感知中占据主导地位。我们想探究视觉和听觉皮层如何共享信息，结果明确显示：处理视觉数据的大脑区域承担了更多任务，并收集了远超听觉区域的信息量。”

基于这一最新发现和大脑的4D图谱，Mohsenzadeh及她在认知神经科学与人工智能实验室的团队将继续致力于改进深度神经网络模型，尤其是那些专为视听任务设计的模型。