Pourquoi les humains ne s'accordent-ils pas sur l'évaluation de l'IA ? Désaccord comme structure, pas comme erreur

L'évaluation humaine est au cœur de la manière dont les systèmes d'IA sont construits et de la confiance qui leur est accordée. Les références sont construites à partir d'étiquettes humaines ; l'apprentissage par renforcement à partir de retours humains (RLHF) traite le jugement humain agrégé comme un proxy pour la qualité ; les évaluations de sécurité s'appuient sur des évaluateurs humains pour identifier les résultats nuisibles. La clé de tous ces systèmes repose sur une hypothèse implicite partagée : que le jugement humain, lorsqu'il est appliqué de manière cohérente, s'approche de la qualité objective. Cette étude remet en question cette hypothèse — non par un argument théorique, mais par des données. En analysant 1 500 évaluations au niveau des phrases tirées de 300 échantillons de texte générés par GPT-4o, nous constatons que cinq évaluateurs indépendants divergent de 22,1 points de pourcentage dans leurs évaluations de fondement. Pourtant, le désaccord n'était pas aléatoire. Pour tous les évaluateurs et toutes les conditions, un schéma monotone strict s'est maintenu sans exception : R0 < R1 < R2. À mesure que la profondeur structurelle augmentait, la variance inter-évaluateurs se resserrait. Nous appelons ce phénomène Divergence structurée. Le désaccord n'est pas du bruit. C'est l'expression systématique de différents critères d'interprétation rencontrant un résultat structuré gradé. La conclusion est simple : l'évaluation humaine n'est pas en panne. Elle a été mal interprétée.