Les modèles de langage à grande échelle multimodaux (MLLMs) ont récemment connu un grand succès dans le traitement et la compréhension d'informations provenant de diverses modalités (par exemple, texte, audio et signaux visuels). Malgré leur popularité croissante, il manque une évaluation complète mesurant les capacités audio-visuelles de ces modèles, en particulier dans divers scénarios (par exemple, changements de distribution et attaques adversariales). Dans cet article, nous présentons une évaluation multifacette de la capacité audio-visuelle des MLLMs, en nous concentrant sur quatre dimensions clés : efficacité, efficience, généralisation et robustesse. Grâce à des expériences approfondies, nous constatons que les MLLMs présentent de fortes capacités de généralisation en zéro-shot et en few-shot, leur permettant d'atteindre de bonnes performances avec des données limitées. Cependant, leur succès dépend fortement de la modalité visuelle, ce qui nuit à la performance lorsque l'entrée visuelle est corrompue ou manquante. De plus, bien que les MLLMs soient sensibles aux échantillons adversariaux, ils montrent une plus grande robustesse par rapport aux modèles traditionnels. Les résultats expérimentaux et nos conclusions fournissent des informations sur les capacités audio-visuelles des MLLMs, mettant en évidence des domaines à améliorer et offrant des conseils pour des recherches futures.
Zhao et al. (Mercredi,) ont étudié cette question.