CharacterGAN: Wenig-Schuss Schlüsselpunkt Charakteranimation und -neuordnung

Wir stellen CharacterGAN vor, ein generatives Modell, das mit nur wenigen Proben (8 – 15) eines bestimmten Charakters trainiert werden kann. Unser Modell erzeugt neuartige Posen basierend auf den Schlüsselpunktpositionen, die in Echtzeit modifiziert werden können, während es interaktives Feedback bietet, was intuitive Neuordnung und Animation ermöglicht. Da wir nur sehr begrenzte Trainingsproben haben, besteht eine der größten Herausforderungen darin, wie man (De)okklusionen adressiert, z. B. wenn eine Hand hinter oder vor einem Körper bewegt wird. Um dies zu adressieren, führen wir einen neuartigen Schichtansatz ein, der die Eingabeschlüsselpunkte explizit in verschiedene Schichten aufteilt, die unabhängig verarbeitet werden. Diese Schichten repräsentieren verschiedene Teile des Charakters und bieten eine starke implizite Verzerrung, die hilft, realistische Ergebnisse selbst bei starken (De)okklusionen zu erzielen. Um die Merkmale der einzelnen Schichten zu kombinieren, verwenden wir einen adaptiven Skalierungsansatz, der auf allen Schlüsselpunkten basiert. Schließlich führen wir eine Maskenverbindungsbedingung ein, um Verzerrungsartefakte zu reduzieren, die mit extremen nicht verteilungsartigen Posen zur Testzeit auftreten. Wir zeigen, dass unser Ansatz aktuelle Baselines übertrifft und realistische Animationen für verschiedene Charaktere erstellt. Wir zeigen auch, dass unser Modell diskrete Zustandsänderungen bewältigen kann, beispielsweise ein Profil, das nach links oder rechts zeigt, dass die verschiedenen Schichten tatsächlich Merkmale spezifisch für die jeweiligen Schlüsselpunkte in diesen Schichten lernen und dass unser Modell auf größere Datensätze skalierbar ist, wenn mehr Daten verfügbar sind. Der Code ist verfügbar unter https://github.com/tohinz/CharacterGAN.