Avaliação Extrínseca de Métricas de Tradução Automática

Métricas de tradução automática (MT) são amplamente utilizadas para distinguir a qualidade de sistemas de tradução automática em conjuntos de teste relativamente grandes (avaliação em nível de sistema). No entanto, não está claro se as métricas automáticas são confiáveis para distinguir boas traduções de más traduções em nível de sentença (avaliação em nível de segmento). Neste artigo, investigamos quão úteis as métricas de MT são para detectar a qualidade em nível de segmento, correlacionando métricas com a utilidade das traduções para tarefas subsequentes. Avaliamos o desempenho em nível de segmento das métricas de MT mais amplamente utilizadas (chrF, COMET, BERTScore, etc.) em três tarefas cross-linguais subsequentes (rastreamento de estado de diálogo, resposta a perguntas e análise semântica). Para cada tarefa, temos acesso apenas a um modelo monolíngue específico da tarefa e a um modelo de tradução. Calculamos a correlação entre a capacidade da métrica de prever uma boa/má tradução e o sucesso/fracasso na tarefa final para as sentenças de teste traduzidas por máquina. Nossos experimentos demonstram que todas as métricas exibem correlação negligenciável com a avaliação extrínseca dos resultados subsequentes. Também descobrimos que as pontuações fornecidas por métricas neurais não são interpretáveis, em grande parte devido à ausência de intervalos definidos. Sintetizamos nossa análise em recomendações para futuras métricas de MT para produzir rótulos em vez de pontuações para uma interação mais informativa entre tradução automática e compreensão de linguagem multilíngue.