Die Synthese von Gesangsstimmen (SVS) zielt darauf ab, aus Musiknoten ausdrucksstarke und hochwertige Vokale zu generieren, was ein präzises Modellieren von Tonhöhe, Dauer und Artikulation erfordert. Während diffusionsbasierte Modelle bemerkenswerte Erfolge bei der Erzeugung von Bildern und Videos erzielt haben, bleibt ihre Anwendung auf die SVS aufgrund der komplexen akustischen und musikalischen Eigenschaften des Gesangs herausfordernd, was oft zu Artefakten führt, die die Natürlichkeit beeinträchtigen. In dieser Arbeit schlagen wir SmoothSinger vor, ein bedingtes Diffusionsmodell, das entwickelt wurde, um hochqualitative und natürliche Gesangsstimmen zu synthetisieren. Im Gegensatz zu früheren Methoden, die auf Vocodern als letzte Stufe angewiesen sind und oft Verzerrungen einführen, verfeinert SmoothSinger direkt in einem einheitlichen Rahmen niedrigqualitatives synthetisiertes Audio und mildert die Abwertung, die mit zweistufigen Pipelines verbunden ist. Das Modell verwendet eine referenzgesteuerte Dual-Branch-Architektur, die niedrigqualitatives Audio aus jedem Basissystem als Referenz verwendet, um den Denoising-Prozess zu leiten, was eine ausdrucksstärkere und kontextbewusste Synthese ermöglicht. Darüber hinaus verbessert es das konventionelle U-Net mit einem parallelen Low-Frequency-Upsampling-Pfad, der es dem Modell ermöglicht, Tonhöhenschwankungen und langfristige spektrale Abhängigkeiten besser zu erfassen. Um die Ausrichtung während des Trainings zu verbessern, ersetzen wir Referenzaudio durch degradierte Ground-Truth-Audios, um zeitliche Missverständnisse zwischen Referenz- und Zielsignalen zu bewältigen. Experimente mit dem Opencpop-Datensatz, einem groß angelegten chinesischen Gesangskorpus, zeigen, dass SmoothSinger in sowohl objektiven als auch subjektiven Bewertungen state-of-the-art Ergebnisse erzielt. Umfassende Ablationsstudien bestätigen seine Wirksamkeit bei der Reduzierung von Artefakten und der Verbesserung der Natürlichkeit synthetisierter Stimmen.
Sui et al. (Do,) haben diese Frage untersucht.