Avaliação da Qualidade de Modelos de Linguagem Grande em Tarefas de Tradução Automática

Key Points

• O objetivo é comparar a qualidade das traduções produzidas por vários modelos de linguagem grande com base em benchmarks estabelecidos.
• Avaliação comparativa das traduções de seis modelos de linguagem grande: DeepSeek, Grok, Mistral, Qwen, GigaChat e Yandex.
• Avaliação da qualidade da tradução usando tanto métricas quantitativas (BLEU, METEOR, chrF) quanto análise qualitativa de especialistas.
• Comparações feitas com o Google Translate e baseadas em critérios de adequação, equivalência e harmonia.
• Modelos de linguagem grande modernos superam a tradução automática clássica, abordando desafios tradicionais de forma eficaz.
• Os LLMs demonstram significativa capacidade em traduzir elementos linguísticos expressivos como phraseologismos e trocadilhos.
• A avaliação de especialistas destaca a melhoria na adequação e equivalência nas traduções feitas por LLMs em comparação com traduções de referência.