Blickschätzung durch aufmerksamkeitsinduzierte hierarchische Variationsautoenkodierer

Das Erscheinungsbild-basierte Blickschätzen wurde kürzlich intensiv untersucht und zeigt vielversprechende Ergebnisse. Die Mehrheit der auf dem Erscheinungsbild basierenden Methoden zur Blickschätzung wird in deterministischen Rahmenbedingungen entwickelt. Allerdings leiden die deterministischen Blickschätzmethoden unter einem erheblichen Leistungsabfall bei herausfordernden Augenbildern in niedriger Auflösung, Dunkelheit, partiellen Verdeckungen usw. Um dieses Problem zu lindern, reformulieren wir in diesem Artikel alternativ das Problem der Erscheinungsbild-basierten Blickschätzung unter einem generativen Rahmen. Spezifisch schlagen wir ein Modell für variationales Inferenz, das heißt, ein variationales Blickschätznetzwerk (VGE-Net), vor, um mehrere Blickkarten als komplementäre Kandidaten gleichzeitig zu generieren, die durch die Bodenwahrheits-Blickkarte überwacht werden. Um eine robuste Schätzung zu erreichen, fusionieren wir adaptiv die Blickrichtungen, die auf diesen Kandidatenblickkarten vorhergesagt werden, durch ein Regressionsnetzwerk mittels eines einfachen Aufmerksamkeitsmechanismus. Experimente an drei Benchmarks, nämlich MPIIGaze, EYEDIAP und Columbia, zeigen, dass unser VGE-Net die Methoden zur Blickschätzung auf dem neuesten Stand übertrifft, insbesondere bei herausfordernden Fällen. Umfassende Ablationsstudien validieren ebenfalls die Wirksamkeit unserer Beiträge. Der Code wird öffentlich veröffentlicht.