Orange

Les comparaisons des métriques d'évaluation automatiques pour la traduction automatique sont généralement effectuées au niveau du corpus en utilisant des statistiques de corrélation telles que le coefficient de corrélation du produit moment de Pearson ou le coefficient de corrélation de rang de Spearman entre les scores humains et les scores automatiques. Cependant, de telles comparaisons reposent sur des jugements humains des qualités de traduction telles que l'adéquation et la fluidité. Malheureusement, ces jugements sont souvent inconsistants et très coûteux à acquérir. Dans cet article, nous introduisons une nouvelle méthode d'évaluation, Orange, pour évaluer les métriques d'évaluation de la traduction automatique automatiquement sans intervention humaine supplémentaire autre que l'utilisation d'un ensemble de traductions de référence. Nous montrons également les résultats de la comparaison de plusieurs métriques automatiques existantes et de trois nouvelles métriques automatiques à l'aide d'Orange.