Dynamik des Gesichtsausdrucks, der automatisch aus Video extrahiert wird

Wir präsentieren einen systematischen Vergleich von maschinellen Lernmethoden, die auf das Problem der vollautomatischen Erkennung von Gesichtsausdrücken angewendet werden, einschließlich AdaBoost, Support Vector Machines und linearer Diskriminanzanalyse. Jeder Video-Frame wird zuerst in Echtzeit gescannt, um ungefähr frontal aufrecht stehende Gesichter zu erkennen. Die gefundenen Gesichter werden in Bildausschnitte gleicher Größe skaliert, mit einer Bank von Gabor-Energiefiltern gefaltet und dann an eine Erkennungsmaschine weitergegeben, die Gesichtsausdrücke in Echtzeit in 7 Dimensionen codiert: neutral, Wut, Ekel, Angst, Freude, Traurigkeit, Überraschung. Wir berichten über Ergebnisse einer Reihe von Experimenten, die räumliche Frequenzbereiche, Merkmalsauswahltechniken und Erkennungsmaschinen vergleichen. Die besten Ergebnisse wurden erzielt, indem eine Teilmenge von Gabor-Filtern unter Verwendung von AdaBoost ausgewählt und dann Support Vector Machines auf den Ausgaben der von AdaBoost ausgewählten Filter trainiert wurden. Die Generalisierungsleistung auf neue Probanden bei einer 7-wegs gezwungenen Wahl betrug 93 % oder mehr korrekt in zwei öffentlich zugänglichen Datensätzen, die beste bisher auf diesen Datensätzen berichtete Leistung. Überraschenderweise war die Registrierung interner Gesichtszüge nicht notwendig, obwohl der Gesichtsdetektor keine genau registrierten Bilder liefert. Die Ausgaben des Klassifizierers ändern sich reibungslos als Funktion der Zeit und können somit für unauffällige Bewegungsaufzeichnung verwendet werden. Wir haben ein End-to-End-System entwickelt, das in 24 Bildern pro Sekunde Gesichtsausdruckscodes bereitstellt und einen computeranimierten Charakter animiert. In Echtzeit arbeitet dieser Ausdrucksspiegel bis zu Auflösungen von 16 Pixeln von Auge zu Auge. Wir haben das System auch auf die vollautomatisierte Codierung von Gesichtsausdrücken angewendet.