Key points are not available for this paper at this time.
Die Audio-Generierung hat erhebliche Aufmerksamkeit auf sich gezogen. Trotz bemerkenswerter Verbesserungen der Audioqualität übersehen bestehende Modelle die Vielfaltsevaluation. Dies liegt teilweise am Fehlen eines systematischen Rahmens für die Vielfalt von Klangklassen und einem passenden Datensatz. Um diese Probleme anzugehen, schlagen wir DiveSound vor, ein neuartiges Framework zur Konstruktion multimodaler Datensätze mit innerhalb der Klassen diversifizierter Taxonomie, unterstützt von großen Sprachmodellen. Da sowohl Text- als auch visuelle Informationen genutzt werden können, um eine vielfältige Generierung zu leiten, verwendet DiveSound multimodale kontrastive Repräsentationen bei der Datenkonstruktion. Unser Framework ist hochautonom und kann leicht skalierbar sein. Wir bieten einen text-audio-bildabgestimmten Diversitätsdatensatz an, dessen Klangereignisklassentags im Durchschnitt 2,42 Unterkategorien haben. Experimente zur Text-zu-Audio-Konvertierung mit dem konstruierten Datensatz zeigen einen erheblichen Anstieg der Vielfalt mit Hilfe der Anleitung durch visuelle Informationen. Unsere Proben sind unter https://divesounddemo.github.io verfügbar.
Li et al. (Sun,) haben diese Frage untersucht.