دو-إن: نمذجة القناع الموجهة بواسطة وحدات منفصلة لفك شفرة الكلام من إشارات عصبية داخل الجمجمة

لقد حصلت واجهات الدماغ-الكمبيوتر الغازية على اهتمام كبير بسبب أدائها العالي. النماذج الأساسية الحالية للتخطيط الكهربائي للدماغ داخل الجمجمة (sEEG) عادةً ما تبني تمثيلات أحادية المتغير بناءً على قناة واحدة. يستخدم البعض منها أيضاً نموذج التحويل (Transformer) لنمذجة العلاقة بين القنوات. ومع ذلك، بسبب المحلية والتخصص في حساب الدماغ، لا يزال أداؤها في المهام الأكثر صعوبة، مثل فك شفرة الكلام، التي تتطلب معالجة معقدة في مناطق محددة من الدماغ، بحاجة إلى مزيد من التحقيق. نفترض أن بناء تمثيلات متعددة المتغيرات ضمن مناطق معينة في الدماغ يمكن أن يلتقط بشكل أفضل المعالجة العصبية المحددة. لاستكشاف هذه الفرضية، نجمع مجموعة بيانات متعلقة بقراءة الكلمات الصينية بشكل جيد التوصيف، تستهدف الشبكات الدماغية المرتبطة باللغة، على مدار 12 موضوعاً. بالاستفادة من هذه المجموعة المرجعية، طورنا نموذج دو-إن الذي يمكنه استخراج تمثيلات سياقية من مناطق معينة في الدماغ من خلال نمذجة قناع موجه بواسطة دفتر رموز منفصل. يحقق نموذجنا أداءً رائداً في مهمة تصنيف الكلمات المكونة من 61 كلمة، متجاوزاً جميع النماذج الأساسية. تكشف المقارنة بين النماذج وتحليل الإقصاء أن خيارات تصميمنا، بما في ذلك (i) التمثيل المتعدد المتغيرات من خلال دمج القنوات في مناطق vSMC و STG و (ii) الإشراف الذاتي بواسطة نمذجة قناع موجهة بواسطة دفتر رموز منفصل، تساهم بشكل كبير في هذه الأداءات. بشكل جماعي، نهجنا، المستوحى من نتائج علوم الأعصاب، والذي يستفيد من التمثيل العصبي متعدد المتغيرات من مناطق معينة في الدماغ، مناسب للنمذجة الغازية للدماغ. وهو يمثل نهجاً واعداً مستوحى من الأعصاب في واجهات الدماغ-الكمبيوتر.