Gieriges Wachsen ermöglicht hochauflösende pixelbasierte Diffusionsmodelle

Wir befassen uns mit dem langjährigen Problem, wie man effektive pixelbasierte Bilddiffusionsmodelle in großem Maßstab lernen kann und führen eine bemerkenswert einfache gierige Wachstums-Methode für das stabile Training von großflächigen, hochauflösenden Modellen ein, ohne dass Kaskaden-Superauflösungs-Komponenten erforderlich sind. Die entscheidende Einsicht stammt aus der sorgfältigen Vorab-Schulung der Kernelemente, nämlich derjenigen, die für die Text-zu-Bild-Ausrichtung gegenüber der hochauflösenden Wiedergabe verantwortlich sind. Zunächst zeigen wir die Vorteile der Skalierung eines flachen UNet ohne Down- (Up-)Sampling Enc (Dec) oder. Es wird gezeigt, dass die Skalierung seiner tiefen Kernen die Ausrichtung, objektive Struktur und Komposition verbessert. Aufbauend auf diesem Kernmodell schlagen wir einen gierigen Algorithmus vor, der die Architektur in hochauflösende End-to-End-Modelle ausdehnt, während die Integrität der vorab trainierten Darstellung gewahrt bleibt, das Training stabilisiert und der Bedarf an großen hochauflösenden Datensätzen reduziert wird. Dies ermöglicht ein einstufiges Modell, das in der Lage ist, hochauflösende Bilder zu erzeugen, ohne dass eine Superauflösungs-Kaskade erforderlich ist. Unsere wichtigsten Ergebnisse basieren auf öffentlichen Datensätzen und zeigen, dass wir in der Lage sind, nicht-kaskadierte Modelle mit bis zu 8B Parametern ohne weitere Regularisierungsschemata zu trainieren. Vermeer, unser vollständiges Pipeline-Modell, das mit internen Datensätzen trainiert wurde, um 1024x1024 Bilder zu erzeugen, ohne Kaskaden, wird von 44,0 % der menschlichen Gutachter gegenüber 21,4 % bevorzugt.