Évaluation automatique du contenu des résumés de machine sans standard de référence

Les approches les plus largement adoptées pour l'évaluation du contenu des résumés suivent un certain protocole de comparaison entre un résumé et des résumés humains de référence, traditionnellement appelés résumés modèles. Ce paradigme d'évaluation est insuffisant lorsque les résumés humains ne sont pas disponibles et devient moins précis lorsqu'un seul modèle est disponible. Nous proposons trois techniques d'évaluation novatrices. Deux d'entre elles sont sans modèle et ne reposent pas sur un standard de référence pour l'évaluation. La troisième technique améliore les évaluations automatiques standard en élargissant l'ensemble des résumés modèles disponibles avec des résumés système choisis. Nous montrons que quantifier la similarité entre le texte source et son résumé avec des mesures appropriées produit des scores de résumé qui reproduisent avec précision les évaluations humaines. Nous explorons également des moyens d'augmenter la qualité de l'évaluation lorsqu'un seul résumé humain modèle est disponible en tant que standard de référence. Nous introduisons des pseudomodèles, qui sont des résumés système jugés contenir un bon contenu selon l'évaluation automatique. La combinaison des pseudomodèles avec le modèle humain unique pour former le standard de référence conduit à de plus fortes corrélations avec les jugements humains par rapport à l'utilisation du seul modèle disponible. Enfin, nous explorons la faisabilité d'une autre mesure : la similarité entre un résumé système et l'ensemble de tous les autres résumés système pour la même entrée. Cette méthode de comparaison avec le consensus des systèmes produit des classements de résumés système remarquablement précis, atteignant une corrélation avec les classements humains au-dessus de 0,9.