A análise multimodal da linguagem é um campo em rápida evolução que utiliza múltiplas modalidades para aprimorar a compreensão da semântica de alto nível subjacente às falas humanas em conversação. Apesar de sua importância, poucas pesquisas investigaram a capacidade dos grandes modelos de linguagem multimodal (MLLMs) de compreender a semântica em nível cognitivo. Neste artigo, apresentamos o MMLA, um benchmark abrangente especificamente projetado para preencher essa lacuna. O MMLA contém mais de 61 mil enunciados multimodais coletados tanto em cenários simulados quanto em situações do mundo real, abrangendo seis dimensões centrais da semântica multimodal: intenção, emoção, ato de diálogo, sentimento, estilo de fala e comportamento comunicativo. Avaliamos oito ramos principais de LLMs e MLLMs usando três métodos: inferência zero-shot, fine-tuning supervisionado e instrução tuning. Experimentos extensos revelam que mesmo modelos ajustados alcançam apenas cerca de 60% a 70% de acurácia, ressaltando as limitações dos MLLMs atuais em compreender a linguagem humana complexa. Acreditamos que o MMLA servirá como uma base sólida para explorar o potencial dos grandes modelos de linguagem na análise multimodal da linguagem e fornecerá recursos valiosos para avançar este campo. Os datasets e o código estão disponíveis como código aberto em https://github.com/thuiar/MMLA.
Zhang et al. (Qua,) estudaram esta questão.