Assessing Neural Representations of Naturalistic Images Across Perception and Memory Using Deep Generative Modelling

Diese Dissertation untersucht, wie perzeptuelle und mnestische visuelle Informationen im menschlichen Gehirn repräsentiert werden, mit Fokus auf frühe visuelle Hirnregionen. Sie prüft das Sensory-Recruitment-Modell anhand naturalistischer Stimuli und dessen Interaktion mit dem Langzeitgedächtnis. Die Forschung ist hier begrenzt, da geeignete Stimuli für ein einheitliches Paradigma zur Messung von Arbeits- und Langzeitgedächtnis schwer zu finden sind. Tiefe generative Modelle eröffnen neue Möglichkeiten, diese Herausforderung anzugehen. In Studie 1 entwickelten wir einen methodischen Ansatz mit einem generativen KI-Modell, um naturalistische „Objekt-Szenen"-Stimuli aus verschiedenen Kategorien zu synthetisieren, die jeweils Variationen auf einem perzeptuellen Gradienten enthielten. Wir validierten das Set mit einer psychophysischen Ähnlichkeitsbeurteilung und einer Match-to-Sample-Aufgabe. Die Ergebnisse zeigen, dass die Stimuli ein perzeptuelles Kontinuum abbilden und Arbeits- sowie Langzeitgedächtnis zuverlässig messen können. In Studie 2 verwendeten wir das Stimulus-Set in einem fMRT-Experiment zum Vergleich von Repräsentationen während Wahrnehmung und Arbeitsgedächtnis. Wir fanden stimulus-spezifische Informationen in beiden Phasen, was das Sensory-Recruitment-Modell unterstützt. Sensorische Repräsentationen generalisierten jedoch nicht über das Behaltensintervall, was darauf hindeutet, dass Arbeitsgedächtnisinhalte nicht durchgehend sensorähnlich repräsentiert sind. Wir fanden keine Evidenz, dass das Sensory Recruitment durch stimulus-spezifische Langzeitgedächtnisspuren moduliert wird. Zusammen zeigen diese Studien den Wert naturalistischer Stimuli und legen nahe, dass sensorische und mnestische Repräsentationen im frühen visuellen Kortex unabhängiger voneinander sein könnten als bisher angenommen. Sie zeigen auch, wie generative KI-Modelle methodische Herausforderungen angehen und ökologische Validität mit experimenteller Kontrolle verbinden können.