XTTS: ein massiv mehrsprachiges Zero-Shot Text-to-Speech Modell

Die meisten Zero-Shot Multi-Speaker TTS (ZS-TTS) Systeme unterstützen nur eine einzige Sprache. Obwohl Modelle wie YourTTS, VALL-E X, Mega-TTS 2 und Voicebox mehrsprachiges ZS-TTS untersucht haben, sind sie auf nur wenige Sprachen mit hohen/mittleren Ressourcen beschränkt, was die Anwendung dieser Modelle in den meisten Sprachen mit niedrigen/mittleren Ressourcen einschränkt. In diesem Papier möchten wir dieses Problem mildern, indem wir das XTTS-System vorschlagen und öffentlich verfügbar machen. Unsere Methode baut auf dem Tortoise-Modell auf und fügt mehrere neuartige Modifikationen hinzu, um mehrsprachiges Training zu ermöglichen, die Sprachklonung zu verbessern und schnelleres Training und Inferenz zu ermöglichen. XTTS wurde in 16 Sprachen trainiert und erzielte in den meisten von ihnen Ergebnisse auf dem Stand der Technik (SOTA).