Modelos de redes neuronales de integración sensorial para mejorar el reconocimiento de vocales

Se demuestra que múltiples fuentes de información del habla pueden ser integradas a un nivel subsimbólico para mejorar el reconocimiento de vocales. Se entrenan redes neuronales feedforward y recurrentes para estimar las características acústicas de un tracto vocal a partir de imágenes de la boca del hablante. Estas estimaciones se combinan con la información acústica degradada por ruido, aumentando efectivamente la relación señal-ruido y mejorando el reconocimiento de estas señales degradadas por ruido. También se presentan estrategias simbólicas alternativas, como la categorización directa de las señales visuales en vocales. El rendimiento de estas redes neuronales se compara favorablemente con el rendimiento humano y con otras técnicas de emparejamiento de patrones y estimación.