Ego4D: Um die Welt in 3.000 Stunden egozentrischem Video

Wir stellen Ego4D vor, ein umfangreiches egozentrisches Videodatensatz und Benchmark-Suite. Es bietet 3.670 Stunden Video von Alltagsaktivitäten, die Hunderte von Szenarien abdecken (Haushalt, im Freien, Arbeitsplatz, Freizeit usw.), aufgenommen von 931 einzigartigen Kameraträgern aus 74 weltweit Standorten und 9 verschiedenen Ländern. Der Ansatz zur Sammlung wurde entwickelt, um strenge Datenschutz- und Ethikstandards einzuhalten, mit einwilligenden Teilnehmern und robusten Verfahren zur De-Identifizierung, wo relevant. Ego4D erweitert dramatisch das Volumen an vielfältigem egozentrischem Videomaterial, das der Forschungsgemeinschaft öffentlich zur Verfügung steht. Teile des Videos werden begleitet von Audio, 3D-Meshes der Umgebung, Augenbewegungen, Stereo- und/oder synchronisierten Videos von mehreren egozentrischen Kameras beim gleichen Ereignis. Darüber hinaus präsentieren wir eine Vielzahl neuer Benchmark-Herausforderungen, die sich auf das Verständnis der visuellen Erfahrung der ersten Person in der Vergangenheit (Abrufen eines episodischen Gedächtnis), Gegenwart (Analyse von Hand-Objekt-Interaktionen, audio-visuellem Gespräch und sozialen Interaktionen) und Zukunft (Vorhersage von Aktivitäten) konzentrieren. Durch die öffentliche Bereitstellung dieses umfangreichen annotierten Datensatzes und der Benchmark-Suite zielen wir darauf ab, die Grenzen der Wahrnehmung aus erster Person zu erweitern. Projektseite: https://ego4d-data.org/