Inteligibilidad del habla en reverberación basada en grabaciones de escenas audio-visuales reproducidas en un entorno virtual 3D

Se recolectaron escenas audio-visuales en un salón de conferencias reverberante de tamaño mediano mediante grabaciones de respuesta a impulso de ambisonics de 3er orden y videos estereoscópicos de 360 grados. Las escenas visuales incluían indicios de la habitación y la ubicación de las fuentes de sonido, sin indicios relacionados con la sincronización de los labios. Se administraron pruebas de inteligibilidad del habla basadas en siete escenas audio-visuales dentro de un entorno virtual 3D inmersivo reproducido a través de una matriz esférica de 16 altavoces sincronizados con un visor montado en la cabeza. Cuarenta sujetos con audición normal participaron para probar los efectos en la inteligibilidad del habla de un hablante frente al oyente y amplificado por dos altavoces laterales simétricos, en los casos de (i) diferentes distancias de oyente a hablante, (ii) ruido de un hablante en varios ángulos de acimut alrededor del oyente, (iii) alta reverberación con relación señal a ruido de -5 dB, (iv) auto-movimiento y (v) indicios visuales. Realizamos pruebas en cuatro configuraciones, es decir, audio-visuales y solo audio, ambas con auto-movimiento y en la condición estática. Las pruebas estáticas solo de audio obtuvieron la mayor inteligibilidad del habla, seguidas de un empate entre audio-visuales con auto-movimiento y en la condición estática. La inteligibilidad del habla disminuyó a medida que aumentó la distancia entre el objetivo y el oyente en todas las escenas ruidosas. Además, la inteligibilidad del habla aumentó cuando el acimut del ruido estaba a 120° en comparación con 180° y 0°, con el hablante aproximadamente a 8 m del oyente. La ventaja de la separación espacial de la señal de ruido en reverberación es evidente en el caso de la prueba audio-visual con auto-movimiento. Esto sugiere una liberación espacial de enmascaramiento en presencia de reverberación, ruido de un hablante interferente y dentro de una escena más ecológica.