Captación mental: Evolución del texto descriptivo del contenido mental a partir de la actividad cerebral humana

Resumen Un desafío central en la neurociencia es decodificar la actividad cerebral para descubrir contenido mental que comprende múltiples componentes y sus interacciones. A pesar del progreso en la decodificación de información relacionada con el lenguaje a partir de la actividad cerebral humana, generar descripciones completas de contenido mental complejo asociado con semánticas visuales estructuradas sigue siendo un reto. Presentamos un método que genera texto descriptivo que refleja las representaciones cerebrales a través de características semánticas calculadas por un modelo de lenguaje profundo. Al construir modelos de decodificación lineales para traducir la actividad cerebral inducida por videos en características semánticas de los subtítulos correspondientes, optimizamos las descripciones candidatas alineando sus características con las características decodificadas del cerebro a través del reemplazo de palabras y la interpolación. Este proceso produjo descripciones bien estructuradas que capturan fielmente el contenido visualizado, incluso sin depender de la red de lenguaje canónica, revelando así representaciones explícitas de información semántica estructurada de alta resolución fuera de esta red. El método también se generalizó exitosamente para verbalizar el contenido recordado, demostrando el potencial para la comunicación cerebro-a-texto basada en pensamientos no verbales, lo que podría ayudar a individuos con dificultades de expresión lingüística.