Una investigación sobre la robustez al ruido para TTS de cero disparo basado en emparejamiento de flujo

Recientemente, los sistemas de texto a voz (TTS) de cero disparo, capaces de sintetizar la voz de cualquier hablante a partir de un breve aviso de audio, han avanzado rápidamente. Sin embargo, la calidad del discurso generado se deteriora significativamente cuando el aviso de audio contiene ruido, y se ha realizado una investigación limitada para abordar este problema. En este documento, exploramos diversas estrategias para mejorar la calidad del audio generado a partir de avisos de audio ruidosos en el contexto de TTS de cero disparo basado en emparejamiento de flujo. Nuestra investigación incluye estrategias de entrenamiento exhaustivas: preentrenamiento no supervisado con desruido de habla enmascarado, detección de múltiples hablantes y filtrado de datos basado en DNSMOS en los datos de preentrenamiento, y ajuste fino con mezcla de ruido aleatorio. Los resultados de nuestros experimentos demuestran mejoras significativas en inteligibilidad, similitud entre hablantes y calidad de audio general en comparación con el enfoque de aplicar mejoras de habla al aviso de audio.