DINO-VITS : TTS zéro-shot efficace en données avec perte de vérification de locuteur auto-supervisée pour la robustesse au bruit

Nous abordons le problème de robustesse au bruit des systèmes TTS zéro-shot en proposant un entraînement à double objectif pour l'encodeur de locuteur utilisant la perte DINO auto-supervisée. Cette approche améliore l'encodeur de locuteur avec l'objectif de synthèse vocale, capturant une plus large gamme de caractéristiques vocales bénéfiques pour le clonage de voix. En même temps, l'objectif DINO améliore l'apprentissage de la représentation du locuteur, garantissant la robustesse au bruit et la discriminabilité des locuteurs. Les expériences démontrent des améliorations significatives dans les métriques subjectives tant dans des conditions claires que bruyantes, surpassant les systèmes TTS basés sur des encodeurs de locuteur traditionnels. De plus, nous explorons l'entraînement de TTS zéro-shot sur des données bruyantes et non étiquetées. Notre stratégie d'entraînement en deux étapes, tirant parti de modèles de parole auto-supervisés pour distinguer la parole bruyante de la parole claire, montre des avancées notables en similarité et naturalité, en particulier avec des ensembles de données d'entraînement bruyants, comparés à l'approche basée sur la transcription ASR.