Verbesserte fein abgestufte Bewegungsdiffusion für textgesteuerte menschliche Bewegungssynthese

Das Aufkommen der textgesteuerten Bewegungssynthesetechnik bietet Animatoren großes Potenzial für eine effiziente Erstellung. In den meisten Fällen enthalten textuelle Ausdrücke jedoch nur allgemeine und qualitative Bewegungsbeschreibungen, während es an feiner Darstellung und ausreichender Intensität mangelt, was zu synthetisierten Bewegungen führt, die entweder (a) semantisch konform, aber nicht steuerbar über spezifische Posedetails sind, oder (b) sogar von den bereitgestellten Beschreibungen abweichen und den Animatoren unerwünschte Fälle bringen. In diesem Papier schlagen wir DiffKFC vor, ein bedingtes Diffusionsmodell für die textgesteuerte Bewegungssynthese mit KeyFrames Collaboration, das eine realistische Generierung mit kooperativer und effizienter Zweiebenenkontrolle ermöglicht: grobe Anleitung auf semantischer Ebene, mit nur wenigen Keyframes für direkte und fein abgestufte Darstellung bis hinunter zur Körperhaltungsebene. Im Gegensatz zu bestehenden Inferenz-Bearbeitungs-Diffusionsmodellen, die Bedingungen ohne Training einbeziehen, wird unser bedingtes Diffusionsmodell explizit trainiert und kann die Zusammenhänge zwischen Texten, Keyframes und den diffundierten Zielbildern vollständig ausschöpfen. Um die Steuerungsmöglichkeiten diskreter und spärlicher Keyframes zu bewahren, passen wir erweiterte Masken-Attention-Module an, bei denen nur teilweise gültige Tokens an der lokalen bis globalen Aufmerksamkeit teilnehmen, angezeigt durch die erweiterte Keyframe-Maske. Darüber hinaus entwickeln wir einen einfachen, aber effektiven Glattheitsprior, der die generierten Bilder während der Inferenz zu nahtlosen Keyframe-Übergängen führt. Umfangreiche Experimente zeigen, dass unser Modell nicht nur eine Spitzenleistung hinsichtlich der semantischen Genauigkeit erreicht, sondern vor allem in der Lage ist, die Anforderungen von Animatoren durch fein abgestufte Anleitung ohne ausführliche Arbeit zu erfüllen.