إعادة بناء الصور العميقة من نشاط الدماغ البشري

ملخص مكّن التحليل القائم على تعلم الآلة لأنماط التصوير بالرنين المغناطيسي الوظيفي (fMRI) البشري من تصور المحتوى الإدراكي. ومع ذلك، فقد اقتصر ذلك على إعادة البناء باستخدام قواعد صور منخفضة المستوى (Miyawaki et al., 2008; Wen et al., 2016) أو المطابقة مع النماذج الأولية (Naselaris et al., 2009; Nishimoto et al., 2011). أظهرت دراسة حديثة أنه يمكن فك تشفير (ترجمة) نشاط القشرة البصرية إلى سمات هرمية لشبكة عصبية عميقة (DNN) لنفس الصورة المدخلة، مما يوفر طريقة للاستفادة من المعلومات المستمدة من السمات البصرية الهرمية (Horikawa & Kamitani, 2017). نقدم هنا طريقة مبتكرة لإعادة بناء الصور، حيث يتم تحسين قيم البكسل للصورة لجعل سمات الـ DNN الخاصة بها مشابهة لتلك التي تم فك تشفيرها من نشاط الدماغ البشري في طبقات متعددة. وجدنا أن الصور المُولدة تشبه صور المحفزات (سواء الصور الطبيعية أو الأشكال الاصطناعية) والمحتوى البصري الذاتي أثناء التخيل. في حين تم تدريب نموذجنا فقط باستخدام الصور الطبيعية، نجحت طريقتنا في تعميم إعادة البناء على الأشكال الاصطناعية، مما يشير إلى أن نموذجنا "يعيد بناء" أو "يُولّد" الصور بالفعل من نشاط الدماغ، ولا يكتفي بمجرد المطابقة مع النماذج الأولية. كما أضاف النموذج المسبق للصور الطبيعية الذي قدمته شبكة عصبية عميقة أخرى تفاصيل ذات مغزى دلالي إلى عمليات إعادة البناء بشكل فعال، وذلك من خلال تقييد الصور المعاد بناؤها لتكون مشابهة للصور الطبيعية. علاوة على ذلك، يشير التقييم البشري لعمليات إعادة البناء إلى فعالية دمج طبقات DNN متعددة لتعزيز الجودة البصرية للصور المُولدة. تشير النتائج إلى أنه يمكن دمج المعلومات البصرية الهرمية في الدماغ بشكل فعال لإعادة بناء الصور الإدراكية والذاتية.