M2QA: Perguntas e Respostas Multilíngues em Múltiplos Domínios

A generalização e a robustez à variação de entrada são desejos centrais da pesquisa em aprendizado de máquina. A linguagem varia ao longo de vários eixos, sendo os mais importantes a instância da língua (por exemplo, francês) e o domínio (por exemplo, notícias). Embora a adaptação de modelos de PNL a novas línguas dentro de um único domínio, ou a novos domínios dentro de uma única língua, seja amplamente estudada, a pesquisa em adaptação conjunta é dificultada pela falta de conjuntos de dados de avaliação. Isso impede a transferência de sistemas de PNL de línguas e domínios bem recursos para combinações de língua e domínio não dominantes. Para abordar essa lacuna, introduzimos o M2QA, um benchmark de perguntas e respostas multilíngues em múltiplos domínios. O M2QA inclui 13.500 instâncias de perguntas-respostas no estilo SQuAD 2.0 em alemão, turco e chinês para os domínios de avaliações de produtos, notícias e escrita criativa. Usamos o M2QA para explorar o desempenho cruzado de línguas e domínios de modelos ajustados e de LLMs de última geração e investigar abordagens modulares para adaptação de domínio e língua. Observamos 1) variações de desempenho consideráveis entre combinações de domínio-língua dentro de classes de modelos e 2) quedas de desempenho consideráveis entre combinações de língua-domínio de origem e alvo em todos os tamanhos de modelos. Demonstramos que o M2QA está longe de ser resolvido e que novos métodos para transferir efetivamente informações tanto linguísticas quanto específicas de domínio são necessários. Tornamos o M2QA publicamente disponível em https://github.com/UKPLab/m2qa.