人类听觉系统通过将声学输入信号转化为语义分类（如言语和音乐）来提取环境中声音的意义。尽管不同的声学特征导致这些分类感知，并在听觉皮层中空间分隔区域中产生优先响应，但支撑这种转化的内部表征的性质仍然了解甚少。本文结合了神经影像学、深度神经网络（DNN）、基于大脑的声音合成以及对男女参与者的心理物理测试，以研究听觉皮层中言语和音乐选择性区域编码的内部声音特征及其在声音分类中的功能作用。我们发现，从皮层活动模式合成的声音——尽管在声学上与自然言语和音乐声音不同——仍然引发了类似的分类皮层和行为响应。这些结果表明，听觉皮层依赖于内部的、抽象的类别结构表征，这些表征无法简化为自然言语和音乐的声学特性。我们的研究结果为DNN所捕捉的中间声音特征提供了新的见解，这可能支持人类听觉系统的分类过程。重要性声明：言语和音乐是两种独特的人声音类别。尽管其独特的声学特征和语义属性已被广泛研究，但人类听觉系统如何将声学差异性转化为意义仍然 largely unknown。我们利用深度神经网络（DNN）将声音从听觉皮层活动模式转换为声音。我们发现这些合成声音尽管在声学上与自然言语和音乐不同，却引发了类似的分类皮层和行为响应。我们的研究结果表明，人类听觉系统的分类依赖于由DNN捕捉的类别内部表征，这些表征无法简化为自然声学的言语和音乐特征。
Xing等人（星期三）研究了这个问题。