Wir präsentieren ein End-to-End-Framework zur schnellen Erstellung interaktiver, personalisierter Avatare für skalierbare Trainings- und Simulationsanwendungen. Das als Erweiterung des Virtual Human Toolkit entwickelte Framework integriert Technologien für audio-visuelle Sensierung, Spracherkennung, Verarbeitung natürlicher Sprache, Generierung nonverbaler Verhaltensweisen und hochgenaue Text-zu-Sprache-Synthese. Ein personalisierter Avatar wird hier als eine Echtzeit, verkörperte digitale Darstellung einer tatsächlichen Person definiert, anstatt als generischer Charakter. Die Erstellungspipeline benötigt lediglich ein einzelnes Gesichtsfoto, das durch einen fotorealistischen Charaktergenerierungsworkflow verarbeitet, dann verfeinert, angepasst und in einer Echtzeit-3D-Umgebung für die Integration mit konversationaler KI und synthetischer Sprachgenerierung bereitgestellt wird. Das System unterstützt auch die schnelle Generierung generischer Avatare aus hochwertigen synthetischen Kopfaufnahmen, die von generativer KI produziert werden, und ermöglicht die Erstellung vielfältiger, realistischer oder stilisierter Kohorten innerhalb von Minuten. Unser erster Anwendungsfall untersucht, ob personalisierte Avatare das Engagement, die Motivation und die Leistung im Vergleich zu generischen Avataren verbessern, wobei die Hypothese besteht, dass Personalisierung die Relevanz, Identifikation und Lernergebnisse erhöht. Wir beschreiben die Architektur, die Avatar-Erstellungspipeline und die Rolle der generativen KI bei der Beschleunigung der Entwicklung und teilen erste Implementierungsinsights.
Hartholt et al. (Wed,) haben diese Frage untersucht.