Auf dem Weg zu interpretierbarem visuellem Decodieren mit Aufmerksamkeit auf Gehirndarstellungen

Jüngste Arbeiten haben gezeigt, dass komplexe visuelle Stimuli aus menschlicher Gehirnaktivität mithilfe tief generativer Modelle decodiert werden können, was Hirnforschern hilft zu verstehen, wie das Gehirn reale Szenen repräsentiert. Die meisten aktuellen Ansätze nutzen jedoch die Abbildung von Gehirnsignalen in Zwischenräume von Bild- oder Textmerkmalen, bevor sie den generativen Prozess steuern, wodurch die Beiträge verschiedener Gehirnareale am endgültigen Rekonstruktionsoutput maskiert werden. In dieser Arbeit schlagen wir NeuroAdapter vor, ein visuelles Decodierungsframework, das ein latentes Diffusionsmodell direkt auf Gehirndarstellungen konditioniert und somit die Notwendigkeit intermediärer Merkmalsräume umgeht. Unsere Methode zeigt eine wettbewerbsfähige visuelle Rekonstruktionsqualität auf öffentlichen fMRI-Datensätzen im Vergleich zu früheren Arbeiten und bietet zugleich größere Transparenz darüber, wie Gehirnsignale den Generierungsprozess formen. Dazu tragen wir ein Image-Brain BI-directionales Interpretierbarkeitsframework (IBBI) bei, das Kreuz-Attentionsmechanismen über Diffusions-Denoising-Schritte untersucht, um offenzulegen, wie verschiedene kortikale Areale den sich entfaltenden generativen Verlauf beeinflussen. Unsere Ergebnisse heben das Potenzial eines durchgehenden Gehirn-zu-Bild-Decodierprozesses hervor und ebnen den Weg zur Interpretation von Diffusionsmodellen durch die Perspektive der visuellen Neurowissenschaft.