TableVQA-Bench : Un benchmark de questions-réponses visuelles sur plusieurs domaines de tableaux

Dans cet article, nous établissons un benchmark pour le questionnement visuel sur tableaux, appelé TableVQA-Bench, dérivé de jeux de données préexistants de question-réponse (QA) sur tableaux et de reconnaissance de structures de tableaux. Il est important de noter que les ensembles de données existants n'ont pas incorporé d'images ni de paires QA, qui sont deux composants cruciaux de TableVQA. Ainsi, l'objectif principal de cet article est d'obtenir ces composants nécessaires. Plus précisément, les images sont obtenues soit par l'application d'une feuille de style, soit en utilisant le système de rendu de tableaux proposé. Les paires QA sont générées en exploitant le large modèle de langage (LLM) où l'entrée est un tableau au format texte. En fin de compte, le TableVQA-Bench complet comprend 1 500 paires QA. Nous comparons de manière exhaustive les performances de divers modèles de langage à grande échelle multimodaux (MLLMs) sur le TableVQA-Bench. GPT-4V atteint la plus haute précision parmi les MLLMs commerciaux et open source de nos expériences. De plus, nous découvrons que le nombre de requêtes visuelles joue un rôle significatif dans les performances de TableVQA. Pour analyser davantage les capacités des MLLMs par rapport à leurs bases solides LLM, nous menons une étude en présentant des tableaux au format image aux MLLMs et des tableaux au format texte aux LLMs, respectivement. Nos résultats suggèrent que le traitement des entrées visuelles est plus difficile que celui des entrées textuelles, comme en témoigne la performance inférieure des MLLMs, bien qu'exigeant généralement des coûts computationnels plus élevés que les LLMs. Le TableVQA-Bench proposé et les codes d'évaluation sont disponibles sur https://github.com/naver-ai/tablevqabench.