Explorer des méthodes diverses dans la réponse à des questions visuelles

Cette étude explore des méthodes innovantes pour améliorer la réponse à des questions visuelles (VQA) en utilisant des réseaux antagonistes génératifs (GAN), des autoencodeurs et des mécanismes d'attention. En s'appuyant sur un ensemble de données VQA équilibré, nous examinons trois stratégies distinctes. Premièrement, les approches basées sur les GAN visent à générer des embeddings de réponses conditionnés sur les entrées image et question, montrant un potentiel mais ayant des difficultés avec des tâches plus complexes. Deuxièmement, les techniques basées sur des autoencodeurs se concentrent sur l'apprentissage d'embeddings optimaux pour les questions et les images, obtenant des résultats comparables avec les GAN grâce à une meilleure capacité sur des questions complexes. Enfin, les mécanismes d'attention, incorporant le pooling bilinéaire compact multimodal (MCB), traitent des priorités linguistiques et de la modélisation de l'attention, bien qu'il y ait un compromis entre complexité et performance. Cette étude souligne les défis et les opportunités dans le VQA et suggère des voies pour des recherches futures, y compris des formulations alternatives de GAN et des mécanismes d'attention.