Amélioration de l'évaluation automatique VQA à l'aide de grands modèles de langage

Huit ans après la proposition de la tâche de visual question answering (VQA), la précision reste la métrique principale pour l'évaluation automatique. La précision VQA a été efficace jusqu'à présent dans le cadre d'une évaluation IID. Cependant, notre communauté est en train de se tourner vers des modèles génératifs ouverts et une évaluation OOD. Dans ce nouveau paradigme, la métrique actuelle de précision VQA est trop stricte et sous-estime la performance des systèmes VQA. Il est donc nécessaire de développer des métriques automatiques VQA plus robustes servant de substitut au jugement humain. Dans ce travail, nous proposons de tirer parti des capacités d'apprentissage en contexte des grands modèles de langage (LLMs) ajustés avec instructions pour construire une meilleure métrique VQA. Nous formulons l'évaluation VQA comme une tâche d'évaluation de réponses où le LLM est chargé de noter la précision d'une réponse candidate en fonction d'un ensemble de réponses de référence. Nous démontrons que la métrique proposée corrèle mieux avec le jugement humain comparé aux métriques existantes à travers plusieurs modèles et benchmarks VQA. Nous espérons qu'une adoption large de notre métrique contribuera à une meilleure estimation des progrès de recherche sur la tâche VQA. Nous prévoyons de publier le code d'évaluation et les jugements humains collectés.