Key points are not available for this paper at this time.
L'un des plus grands défis entravant les progrès dans la traduction automatique à faibles ressources et multilingue est le manque de bons référentiels d'évaluation. Les référentiels d'évaluation actuels manquent soit d'une bonne couverture des langues à faibles ressources, considérant uniquement des domaines restreints, soit sont de faible qualité car construits à l'aide de procédures semi-automatiques. Dans ce travail, nous introduisons le référentiel d'évaluation FLORES-101, composé de 3001 phrases extraites de Wikipedia en anglais et couvrant une variété de sujets et de domaines différents. Ces phrases ont été traduites en 101 langues par des traducteurs professionnels à travers un processus soigneusement contrôlé. Le jeu de données résultant permet une meilleure évaluation de la qualité des modèles sur la longue traîne des langues à faibles ressources, y compris l'évaluation des systèmes de traduction multilingue nombreux-à-nombreux, car toutes les traductions sont alignées multilingue. En publiant un jeu de données de si haute qualité et de si grande couverture, nous espérons favoriser les progrès dans la communauté de la traduction automatique et au-delà.
Goyal et al. (Sun,) ont étudié cette question.