Investigación de Redes Neuronales Profundas Bilingües para el Reconocimiento Automático del Habla Frisona con Cambio de Código

En este documento, se describe un sistema de reconocimiento automático de voz (ASR) con cambio de código construido para el idioma frisón. El frisón se habla principalmente en la provincia de Fryslân, que está situada en el norte de los Países Bajos. Los hablantes nativos de frisón son en su mayoría bilingües y a menudo cambian de código en conversaciones diarias debido a la amplia influencia del idioma holandés. En el marco del Proyecto FAME!, se investigará la influencia de este cambio de idioma inesperado en los sistemas modernos de ASR con el objetivo de construir un reconocedor robusto que pueda manejar este fenómeno. Para ello, en este trabajo, diseñamos un sistema ASR basado en redes neuronales profundas (DNN) bilingües e investigamos el impacto del entrenamiento de DNN bilingües en el contexto del habla con cambio de código.