Dallah: Um Modelo de Linguagem Multimodal Consciente de Dialetos para o Árabe

Avanços recentes melhoraram significativamente as capacidades dos Modelos de Linguagem Multimodal Grandes (MLLMs) na geração e compreensão de conteúdo de imagem para texto. Apesar desses sucessos, o progresso está predominantemente limitado ao inglês devido à escassez de recursos multimodais de alta qualidade em outras línguas. Essa limitação impede o desenvolvimento de modelos competitivos em línguas como o árabe. Para aliviar essa situação, apresentamos um assistente multimodal árabe eficiente, chamado Dallah, que utiliza um modelo de linguagem avançado baseado no LLaMA-2 para facilitar interações multimodais. Dallah demonstra desempenho de ponta em MLLMs árabes. Através do ajuste fino de seis dialetos árabes, Dallah mostra sua capacidade de lidar com interações dialetais complexas incorporando elementos textuais e visuais. O modelo se destaca em dois testes de referência: um avaliando seu desempenho em Árabe Moderno Padrão (MSA) e outro especificamente projetado para avaliar respostas dialetais. Além de seu desempenho robusto em tarefas de interação multimodal, Dallah tem o potencial de abrir caminho para um desenvolvimento adicional de MLLMs árabes conscientes de dialetos.