Guiando Modelos de Linguagem de Grande Escala para Pós-Edição de Tradução Automática com Anotações de Erro

A Tradução Automática (TA) continua sendo uma das últimas tarefas de PNL onde modelos de linguagem de grande escala (LLMs) ainda não substituíram sistemas supervisionados dedicados. Este trabalho explora as forças complementares dos LLMs e da TA supervisionada, guiando os LLMs para automaticamente pós-editar a TA com feedback externo sobre sua qualidade, derivado das anotações de Métrica de Qualidade Multidimensional (MQM). Trabalhando com modelos LLaMA-2, consideramos estratégias de prompt variando a natureza do feedback fornecido e, em seguida, ajustamos finamente o LLM para melhorar sua capacidade de explorar a orientação fornecida. Por meio de experimentos com dados MQM em chinês-inglês, inglês-alemão e inglês-russo, demonstramos que orientar LLMs para pós-editar a TA melhora as pontuações de TER, BLEU e COMET, embora os benefícios do feedback detalhado não sejam claros. O ajuste fino ajuda a integrar o feedback detalhado de forma mais eficaz e melhora ainda mais a qualidade da tradução com base tanto em avaliações automáticas quanto humanas.