Viajando Entre Linguagens: Avaliando a Consistência Interlinguística em MLLMs Multimodais

A rápida evolução dos modelos de linguagem multimodais grandes (MLLMs) melhorou significativamente suas aplicações no mundo real. No entanto, alcançar um desempenho consistente entre idiomas, especialmente ao integrar conhecimento cultural, continua sendo um desafio significativo. Para avaliar melhor essa questão, introduzimos dois novos benchmarks: KnowRecall e VisRecall, que avaliam a consistência interlinguística em MLLMs. KnowRecall é um benchmark de perguntas visuais projetado para medir a consistência do conhecimento factual em 15 idiomas, com foco em perguntas culturais e históricas sobre marcos globais. VisRecall avalia a consistência da memória visual pedindo aos modelos para descrever a aparência de marcos em 9 idiomas sem acesso a imagens. Resultados experimentais revelam que os MLLMs mais avançados, incluindo os proprietários, ainda têm dificuldades para alcançar consistência interlinguística. Isso enfatiza a necessidade de abordagens mais robustas que produzem modelos verdadeiramente multilíngues e culturalmente conscientes.