Die Teilaufgabe der konversationalen Suche (CS) der NTCIR-18 FairWeb-2 Aufgabe verwendete Sakais GFRC (Group Fairness and Relevance for Conversations) Maß zur Bewertung der teilnehmenden Systeme. Da die Relevanz- und Gruppengerechtigkeitskomponenten nicht direkt in GFRC integriert waren und das Maß ein klares Benutzermodell fehlte, diskutiert die vorliegende Pilotstudie eine Alternative namens GFRC2. Durch die direkte Übertragung der allgemeinen Idee des GFR (Gruppengerechtigkeit und Relevanz) Rahmens für die Websuche auf die Aufgabe der Bewertung generierter Gespräche formulieren wir GFRC2 als eine Form der erwarteten Benutzererfahrung für eine Benutzerpopulation, die die Worte im Gespräch durchläuft. Dies ermöglicht es uns ebenfalls, die Relevanz- und Gruppengerechtigkeitskomponentenscores für jede Nutzergruppe, die angenommen wird, das Gespräch an einem bestimmten relevanten Element abzubrechen, zu visualisieren. Wir demonstrieren die Schritte zur Berechnung von GFRC2 anhand realer Durchläufe der FairWeb-2 CS Teilaufgabe.
Sakai et al. (Freitag) haben diese Frage untersucht.