ComboStoc: Kombinatorische Stochastizität für Diffusions-Generative Modelle

In diesem Papier untersuchen wir einen bisher wenig erforschten, aber wichtigen Faktor der Diffusions-generativen Modelle, nämlich die kombinatorische Komplexität. Datensamples sind allgemein hochdimensional, und für verschiedene strukturierte Generierungsaufgaben gibt es zusätzliche Attribute, die kombiniert werden, um mit Datensamples in Beziehung gesetzt zu werden. Wir zeigen, dass der Raum, der von der Kombination der Dimensionen und Attribute aufgespannt wird, von dem bestehenden Trainingsschema der Diffusions-generativen Modelle unzureichend abgedeckt ist, was zu einer verschlechterten Leistung zur Testzeit führt. Wir präsentieren eine einfache Lösung für dieses Problem, indem wir stochastische Prozesse konstruieren, die die kombinatorischen Strukturen vollständig ausnutzen, daher der Name ComboStoc. Mit dieser einfachen Strategie zeigen wir, dass das Training des Netzwerks über verschiedene Datenmodalitäten hinweg, einschließlich Bilder und 3D-strukturierte Formen, signifikant beschleunigt wird. Darüber hinaus ermöglicht ComboStoc eine neue Art der Generierung zur Testzeit, die unsynchronisierte Zeitstufen für verschiedene Dimensionen und Attribute verwendet, und damit unterschiedliche Steuerungsgrade darüber ermöglicht.