La subtarea de Búsqueda Conversacional (CS) de la tarea FairWeb-2 del NTCIR-18 utilizó la medida GFRC (Equidad y Relevancia de Grupo para Conversaciones) de Sakai para evaluar los sistemas participantes. Dado que los componentes de Relevancia y Equidad de Grupo no estaban integrados directamente en GFRC y la medida carecía de un modelo de usuario claro, el presente estudio piloto discute una alternativa llamada GFRC2. Al transferir directamente la idea general del marco GFR (Equidad y Relevancia de Grupo) para la búsqueda web a la tarea de evaluar conversaciones generadas, formulamos GFRC2 como una forma de experiencia de usuario esperada para una población de usuarios que pasan por las palabras dentro de la conversación. Esto también nos permite visualizar los puntajes de los componentes de Relevancia y Equidad de Grupo para cada clúster de usuarios que se asume que abandonan la conversación en un nugget relevante particular. Demostramos los pasos para calcular GFRC2 utilizando ejecuciones reales de la subtarea FairWeb-2 CS.
Sakai et al. (Fri,) estudiaron esta cuestión.