Unsupervised Gaze-Repräsentation Lernen über Augenmaske-getriebenes Informationsflaschenhals

Erscheinungsbasierte überwachende Methoden mit Vollgesichtsbildern haben in jüngsten Aufgaben zur Blickschätzung enorme Fortschritte gemacht. Allerdings behindert der intensive Bedarf an menschlicher Annotation die gegenwärtigen Methoden darin, industrielle Genauigkeit und Robustheit zu erreichen. Obwohl aktuelle unüberwachte Vortrainingsrahmen in vielen Bildverarbeitungsaufgaben Erfolge erzielt haben, sind diese Rahmen aufgrund der tiefen Kopplung zwischen Gesichts- und Augenmerkmalen immer noch unzureichend in der Extraktion nützlicher Blickmerkmale aus dem Vollgesicht. Um die oben genannten Einschränkungen zu mildern, schlägt diese Arbeit einen neuartigen unüberwachten/selbstüberwachten Vortrainingsrahmen für den Blick vor, der den Vollgesichtszweig zwingt, ein niederdimensionales Blick-Embedding ohne Blickannotationen zu lernen, durch kollaborative Merkmalskontrast- und Quetschmodule. Im Herzen dieses Rahmens steht ein abwechselndes Training mit Auge-hinunter-/nicht hinunter-maskierten Maskierungsansatz, das blickbezogene Informationen aus dem Vollgesichtsbereich in einen augenmaskierten Autoencoder durch ein Einspritzflaschenhalldesign komprimiert, das das Modell erfolgreich dazu anregt, mehr Augenmerk auf die Blickrichtung als nur auf Gesichtstexturen zu legen, gleichzeitig jedoch das Ziel der Selbstrekonstruktion des Auges beibehält. Zur gleichen Zeit wurde ein neuartiger kontextbezogener Verlust entworfen, um die erlernte Darstellung weiter zu stärken, indem das Modell gezwungen wird, sich auf augenzentrierte Bereiche zu konzentrieren. Umfangreiche experimentelle Ergebnisse auf mehreren Blick-Benchmarktests zeigen, dass das vorgeschlagene Schema überlegene Leistungen im Vergleich zum unüberwachten Stand der Technik erzielt.