BMN : Réseau de Correspondance de Limites pour la Génération de Propositions d'Actions Temporelles

La génération de propositions d'actions temporelles est une tâche complexe et prometteuse qui vise à localiser des régions temporelles dans des vidéos réelles où une action ou un événement peut se produire. Les méthodes actuelles de génération de propositions de bas en haut peuvent générer des propositions avec des limites précises, mais ne peuvent pas générer efficacement des scores de confiance suffisamment fiables pour récupérer les propositions. Pour remédier à ces difficultés, nous introduisons le mécanisme de Correspondance de Limites (BM) pour évaluer les scores de confiance de propositions densément distribuées, qui désignent une proposition comme une paire correspondante de limites de début et de fin et combinent tous les couples BM densément distribués en une carte de confiance BM. Sur la base du mécanisme BM, nous proposons une méthode de génération de propositions efficace, efficiente et de bout en bout, nommée Réseau de Correspondance de Limites (BMN), qui génère des propositions avec des limites temporelles précises ainsi que des scores de confiance fiables simultanément. Les deux branches de BMN sont entraînées conjointement dans un cadre unifié. Nous menons des expériences sur deux ensembles de données difficiles : THUMOS-14 et ActivityNet-1.3, où BMN montre une amélioration significative des performances avec une efficacité et une généralisabilité remarquables. De plus, en combinant avec un classificateur d'actions existant, BMN peut atteindre des performances de détection d'actions temporelles à la pointe de la technologie.