mChartQA : Un benchmark universel pour la réponse aux questions multimodales sur les graphiques basé sur l'alignement et le raisonnement vision-langage

Dans les domaines de la vision par ordinateur et du traitement du langage naturel, la réponse aux questions multimodales sur les graphiques, en particulier celles impliquant la couleur, la structure et les graphiques sans texte, présente des défis importants. Les méthodes traditionnelles, qui impliquent généralement soit un traitement multimodal direct soit une conversion de tableau en texte suivie d'une analyse par modèle linguistique, ont des limites pour gérer efficacement ces scénarios complexes. Cet article présente un nouveau modèle de réponse aux questions multimodales sur les graphiques, spécialement conçu pour traiter ces tâches complexes. Notre modèle intègre le traitement visuel et linguistique, dépassant les contraintes des méthodes existantes. Nous adoptons une approche d'entraînement en deux phases : la phase initiale se concentre sur l'alignement des représentations image et texte, tandis que la phase suivante optimise les capacités interprétatives et analytiques du modèle dans les questions liées aux graphiques. Cette approche a démontré une performance supérieure sur plusieurs ensembles de données publiques, en particulier pour les questions concernant la couleur, la structure et les graphiques sans texte, indiquant son efficacité dans les tâches multimodales complexes.