UniAV : Perception Audio-Visuelle Unifiée pour la Localisation d'Événements Vidéo Multi-Tâches

Les tâches de localisation d'événements vidéo incluent la localisation temporelle d'actions (TAL), la détection d'événements sonores (SED) et la localisation audio-visuelle d'événements (AVEL). Les méthodes existantes ont tendance à se spécialiser excessivement sur des tâches individuelles, en négligeant l'importance égale de ces différents événements pour une compréhension complète du contenu vidéo. Dans ce travail, nous visons à développer un cadre unifié pour résoudre ensemble les tâches TAL, SED et AVEL afin de faciliter une compréhension holistique de la vidéo. Cependant, cela est difficile car les différentes tâches mettent l'accent sur des caractéristiques d'événements distinctes et il existe des disparités importantes dans les ensembles de données spécifiques aux tâches (taille/domaine/durée). Cela conduit à des résultats insatisfaisants lors de l'application d'une stratégie naïve multi-tâches. Pour résoudre ce problème, nous introduisons UniAV, un réseau de perception audio-visuelle unifié pour apprendre efficacement et partager les connaissances mutuellement bénéfiques à travers les tâches et les modalités. Concrètement, nous proposons un encodeur audio-visuel unifié afin d'obtenir des représentations génériques à partir de multiples échelles temporelles pour des vidéos de toutes les tâches. Parallèlement, des experts spécifiques aux tâches sont conçus pour capter les connaissances uniques à chaque tâche. De plus, au lieu d'utiliser des têtes de prédiction séparées, nous développons un nouveau classificateur unifié sensibilisé au langage en utilisant des invites de tâche alignées sémantiquement, permettant à notre modèle de localiser de façon flexible diverses instances à travers les tâches avec une capacité impressionnante en open-set pour localiser des catégories nouvelles. De nombreuses expériences démontrent que UniAV, avec son architecture unifiée, surpasse significativement à la fois les modèles mono-tâches et la base naïve multi-tâches sur les trois tâches. Il atteint des performances supérieures ou équivalentes aux méthodes spécifiques à l'état de l'art sur les benchmarks ActivityNet 1.3, DESED et UnAV-100.