إعادة بناء هوية الصوت من تسجيلات قشرة السمع غير الغازية

من المعروف أن المعالجة الدماغية لمعلومات الصوت تشارك، لدى البشر وأيضًا لدى الرئيسيات غير البشرية، "مناطق الصوت الزمنية" (TVAs) التي تستجيب بشكل تفضيلي للنداءات الصوتية لنظائره. ومع ذلك، لا يزال من غير المفهوم كيف يتم تمثيل معلومات الصوت بواسطة تجمعات عصبية في هذه المناطق، وخاصة معلومات هوية المتحدث. هنا، استخدمنا شبكة عصبية عميقة (DNN) لإنشاء مساحة تمثيل عالية المستوى وصغيرة الأبعاد لهوية الصوت - "مساحة الصوت الكامنة" (VLS) - وفحصنا علاقتها الخطية بالنشاط الدماغي من خلال تحليل الترميز، والتشابه التمثيلي، والتحليل العكسي. نجد أن VLS تتماشى مع قياسات fMRI للنشاط الدماغي استجابة لعشرات الآلاف من مؤثرات الصوت من مئات من هويات المتحدثين المختلفة، وتفسر بشكل أفضل الهندسة التمثيلية لهوية المتحدث في TVAs مقارنة بـ A1. علاوة على ذلك، سمحت VLS بإعادة بناء مؤثرات الصوت بناءً على TVA التي حافظت على الجوانب الأساسية لهوية المتحدث كما تم تقييمها بواسطة كل من مصنفات الآلات والمستمعين البشر. تشير هذه النتائج إلى أن VLS المستمدة من DNN توفر تمثيلات عالية المستوى لمعلومات هوية الصوت في TVAs.