NTCIR-17 a introduit la tâche FairWeb-1, qui a évalué les classements des pages web en termes de pertinence et d'équité de groupe. La présente étude montre comment leur cadre d'évaluation peut être étendu pour l'évaluation de systèmes de recherche conversationnelle textuels multi-tours. En utilisant l'ensemble complet des sujets de test de FairWeb-1 pour récolter des conversations réelles utilisateur-système depuis le New Bing et Google Bard, nous démontrons comment une série de tours de système peut être évaluée en utilisant notre cadre d'évaluation, que nous appelons GFRC (Équité de Groupe et Pertinence des Conversations). De plus, basé sur des observations de notre expérience pilote, nous discutons brièvement de quelques questions ouvertes dans l'évaluation de la recherche conversationnelle avec l'humain dans la boucle en général.
Tetsuya Sakai (Mardi,) a étudié cette question.
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: