MTVQA: Benchmarking multilingual textzentrierte visuelle Fragenbeantwortung

Textzentrierte visuelle Fragenbeantwortung (TEC-VQA) in ihrem richtigen Format erleichtert nicht nur die Mensch-Maschine-Interaktion in textzentrierten visuellen Umgebungen, sondern dient auch als de facto Goldstandard zur Bewertung von KI-Modellen im Bereich des textzentrierten Szenenverständnisses. Allerdings haben sich die meisten TEC-VQA-Benchmarks auf hochresource Sprache wie Englisch und Chinesisch konzentriert. Trotz wegweisender Arbeiten zur Erweiterung multilingualer QA-Paare in nicht-textzentrierten VQA-Datensätzen mithilfe von Übersetzungsmaschinen stößt das auf Übersetzungen basierende Protokoll auf ein erhebliches „visuell-textuelles Missverhältnis“, wenn es auf TEC-VQA angewendet wird. Konkret priorisiert es den Text in Frage-Antwort-Paaren und ignoriert den visuellen Text, der in Bildern vorhanden ist. Darüber hinaus wird nicht ausreichend auf Herausforderungen im Zusammenhang mit nuancierten Bedeutungen, kontextueller Verzerrung, sprachlichem Bias und Vielfalt bei Fragetypen eingegangen. In diesem Werk beschäftigen wir uns mit der Aufgabe der multilingualen TEC-VQA und stellen einen Benchmark mit hochwertigen menschlichen Expertenannotationen in 9 verschiedenen Sprachen, genannt MTVQA, bereit. Soweit wir wissen, ist MTVQA der erste mehrsprachige TEC-VQA-Benchmark, der menschliche Expertenannotationen für textzentrierte Szenarien bietet. Darüber hinaus wird durch die Evaluation mehrerer hochmoderner multimodaler großer Sprachmodelle (MLLMs), einschließlich GPT-4V, auf unserem MTVQA-Datensatz deutlich, dass es noch Spielraum für Leistungsverbesserungen gibt, was den Wert unseres Datensatzes unterstreicht. Wir hoffen, dass dieser Datensatz Forschern neue Perspektiven und Inspiration innerhalb der Gemeinschaft bieten wird. Der MTVQA-Datensatz wird unter https://huggingface.co/datasets/ByteDance/MTVQA verfügbar sein.