DiffSinger: Gesangsstimmen-Synthese über einen flachen Diffusionsmechanismus

Systeme zur Gesangsstimmen-Synthese (SVS) sind darauf ausgelegt, hochwertige und ausdrucksstarke Gesangsstimmen zu synthetisieren, wobei das akustische Modell die akustischen Merkmale (z. B. Mel-Spektrogramm) basierend auf einer Musikpartitur generiert. Frühere akustische Modelle für Gesang verwenden einen einfachen Verlust (z. B. L1 und L2) oder generative adversarielle Netzwerke (GAN), um die akustischen Merkmale zu rekonstruieren, während sie jeweils unter Überglättung und instabilen Trainingsproblemen leiden, was die Natürlichkeit des synthetisierten Gesangs behindert. In dieser Arbeit schlagen wir DiffSinger vor, ein akustisches Modell für SVS, das auf dem diffusionsprobabilistischen Modell basiert. DiffSinger ist eine parametrische Markov-Kette, die das Rauschen iterativ in Mel-Spektrogramme umwandelt, basierend auf der Musikpartitur. Durch die implizite Optimierung der variationalen Schranken kann DiffSinger stabil trainiert werden und realistische Ausgaben generieren. Um die Sprachqualität weiter zu verbessern und die Schlussfolgerung zu beschleunigen, führen wir einen flachen Diffusionsmechanismus ein, um das vorab erlernte Wissen besser zu nutzen. Konkret beginnt DiffSinger die Generierung in einem flachen Schritt, der kleiner ist als die Gesamtzahl der Diffusionsschritte, entsprechend dem Schnittpunkt der Diffusionstrajektorien des Boden-Truth-Mel-Spektrogramms und des von einem einfachen Mel-Spektrogramm-Decoder vorhergesagten. Außerdem schlagen wir Methoden zur Randvorhersage vor, um den Schnittpunkt zu lokalisieren und den flachen Schritt adaptiv zu bestimmen. Die Bewertungen, die an einem chinesischen Gesangsdatensatz durchgeführt wurden, zeigen, dass DiffSinger die modernsten SVS-Arbeiten übertrifft. Erweiterende Experimente beweisen auch die Verallgemeinerung unserer Methoden im Bereich der Text-zu-Sprache-Aufgabe (DiffSpeech). Audio-Samples: https://diffsinger.github.io. Codes: https://github.com/MoonInTheRiver/DiffSinger.