Brain2Pix：基于脑活动的全卷积自然视频帧重建

从脑活动重建复杂和动态的视觉感知仍然是机器学习在神经科学应用中的一个主要挑战。在这里，我们提出了一种新方法，从非常大的单参与者功能性磁共振成像数据中重建自然图像和视频，该方法利用了图像到图像转换网络的最新成功。这是通过利用从视觉系统的视网膜定位图获得的空间信息来实现的。更具体来说，我们首先确定特定兴趣区域中的每个体素在视觉场中所代表的位置，这基于其对应的接受场位置。然后，将视觉场上脑活动的二维图像表示传递给一个经过训练的全卷积图像到图像网络，该网络使用VGG特征损失和对抗正则器来恢复原始刺激。在我们的实验中，我们展示了我们的方法在现有视频重建技术上提供了显著的提升。