跨模态的视觉和语言解码研究

人类执行涉及输入操控的任务，无论这些信号是如何被大脑感知的，这要归功于对刺激模态不变的表征。在本文中，我们提出了跨模态解码器，利用这种模态不变的表征来预测受试者正在观看的刺激，而不管刺激是以何种模态呈现。训练这些跨模态解码器得益于我们的新大规模fMRI数据集SemReps-8K，该数据集与本文一起公开发布。该数据集包含六名受试者观看图像和这些图像的简短文本描述的过程，以及受试者想象视觉场景的条件。我们发现跨模态解码器的表现可以与特定模态解码器相媲美，甚至在解码标题和心理意象时表现更优。此外，搜索光分析显示，大脑的多个区域包含模态不变的表征。这些区域也特别适合从心理意象条件中解码视觉场景。