Presentar habla continua natural en un entorno inmersivo multisensorial mejora la comprensión del habla y refleja la asignación de recursos de procesamiento en el seguimiento neural del habla.

Resumen La comprensión exitosa del habla, aunque aparentemente sin esfuerzo, implica interacciones complejas entre el procesamiento sensorial y cognitivo y está predominantemente incrustada en un contexto multisensorial, proporcionando pistas acústicas y visuales del habla. Al añadir la perspectiva del envejecimiento, la interacción se vuelve aún más diversa. Se ha investigado el impacto de la carga cognitiva en el procesamiento del habla; sin embargo, se caracteriza por la falta de material de habla realista y multimodalidad. En este estudio, por lo tanto, investigamos los efectos de la carga de memoria en la comprensión audiovisual inmersiva naturalista del habla en adultos mayores con diferentes grados de discapacidad auditiva y capacidades cognitivas. Al proporcionar habla natural continua multisensorial, ofrecida a través de la realidad virtual, creamos una visualización inmersiva tridimensional del hablante y manipulamos la carga de memoria de la habla continua natural inspirada en una tarea tradicional de n-back. Esto nos permitió el seguimiento de la envoltura neural del habla a través de EEG y la comprensión del habla conductual en diferentes modalidades y cargas de memoria en un entorno altamente controlable, mientras se ofrecía una experiencia de conversación realista. El seguimiento neural del habla depende de una interacción entre la modalidad y la carga de memoria, moderada por la capacidad de memoria de trabajo auditiva (AWM). Bajo baja carga de memoria, hay un aumento en el seguimiento neural del habla en la modalidad inmersiva, particularmente fuerte para individuos con baja AWM. Se observa una mejora en el rendimiento inducida visualmente de manera similar en configuraciones de alta y baja carga de memoria a nivel conductual. Argumentamos que esta dinámica refleja un proceso de asignación de recursos de procesamiento sensorial y cognitivo dependiendo de la carga sensorial y cognitiva presentada del habla continua natural y las capacidades individuales.