Los puntos clave no están disponibles para este artículo en este momento.
Este documento examina si la metodología de evaluación de Cranfield es robusta frente a violaciones graves de la suposición de completud (es decir, la suposición de que todos los documentos relevantes dentro de una colección de prueba han sido identificados y están presentes en la colección). Mostramos que las medidas de evaluación actuales no son robustas frente a juicios de relevancia sustancialmente incompletos. Se introduce una nueva medida que es altamente correlacionada con las medidas existentes cuando se disponen de juicios completos y es más robusta frente a conjuntos de juicios incompletos. Este hallazgo sugiere que colecciones de prueba significativamente más grandes o dinámicas construidas utilizando prácticas actuales de agrupación deberían ser herramientas de laboratorio viables, a pesar de que la información de relevancia será incompleta e imperfecta.
Buckley et al. (Sun,) estudiaron esta cuestión.