Discurso visual congruente aprimora a sincronização cortical com o discurso auditivo contínuo em condições sem ruído

O discurso audiovisual congruente aumenta nossa capacidade de compreender um falante, mesmo em condições sem ruído. Quando informações auditivas e visuais incongruentes são apresentadas simultaneamente, isso pode prejudicar a percepção de um ouvinte e até fazê-lo perceber informações que não foram apresentadas em nenhuma das modalidades. Esforços para investigar a base neural desses efeitos frequentemente se concentraram no caso especial de sílabas audiovisuais discretas que são espacial e temporalmente congruentes, com menos trabalho realizado no caso de discurso contínuo e natural. Estudos eletrofisiológicos recentes demonstraram que medidas de resposta cortical ao discurso auditivo contínuo podem ser facilmente obtidas usando métodos de análise multivariada. Aqui, aplicamos tais métodos ao caso do discurso audiovisual e, importante, apresentamos uma nova estrutura para indexar a integração multisensorial no contexto do discurso contínuo. Especificamente, examinamos como a congruência temporal e contextual do discurso audiovisual em andamento afeta a codificação cortical do envelope de discurso em humanos, utilizando eletroencefalografia. Demonstramos que a representação cortical do envelope de discurso é aprimorada pela apresentação de discurso audiovisual congruente em condições sem ruído. Além disso, mostramos que isso se deve, provavelmente, à contribuição de geradores neurais que não estão particularmente ativos durante a estimulação unimodal e que é mais proeminente na escala temporal correspondente à taxa silábica (2-6 Hz). Por fim, nossos dados sugerem que a sincronização neural ao envelope de discurso é inibida quando os fluxos auditivo e visual são incongruentes tanto temporal quanto contextual. DECLARAÇÃO DE SIGNIFICÂNCIA: Ver o rosto de um falante enquanto ele fala pode ajudar muito a entender o que o falante está dizendo. Isso porque os movimentos faciais do falante transmitem informações sobre o que o falante está dizendo, mas, também, de forma importante, quando o falante está dizendo isso. Estudar como o cérebro usa essa relação temporal para combinar informações do discurso auditivo e visual contínuo tem sido tradicionalmente metodologicamente difícil. Aqui, introduzimos uma nova abordagem para fazer isso usando gravações de couro cabeludo relativamente baratas e não invasivas. Especificamente, mostramos que a representação do discurso auditivo pelo cérebro é aprimorada quando o sinal de discurso visual acompanhante compartilha o mesmo tempo. Além disso, mostramos que esse aprimoramento é mais pronunciado em uma escala de tempo que corresponde ao comprimento médio da sílaba.