Ein Blueprint zur Bewertung von IR, der Aufgaben- und Benutzermerkmale integriert

Traditionelle Metriken zur Bewertung von Suchergebnissen in der Informationsretrieval, wie MAP und NDCG, konzentrieren sich naiv auf die thematische Relevanz zwischen einem Dokument und dem Suchthema und nehmen an, dass diese Beziehung mono-dimensional und oft binär ist. Sie vernachlässigen die Überschneidung des Dokumenteninhalt und nehmen an, dass die Gewinne sich anhäufen, während der Suchende die rangierte Liste länger betrachtet. Wir schlagen einen neuartigen Rahmen zur Bewertung von Suchergebnissen vor, der auf multidimensionalen, gestuften Relevanzbewertungen basiert, explizitem Modellieren von Dokumentüberschneidungen und Attributen, die die Nutzbarkeit von Dokumenten über die Relevanz hinaus beeinflussen. Die Relevanz eines Dokuments für eine Suchaufgabe wird als zusammengesetzt aus mehreren Inhaltsthemen und Attributen zur Dokumentennutzbarkeit betrachtet. Dokumente können auch hinsichtlich ihrer Inhaltsthemen überlappen. Attribute wie die Lesbarkeit des Dokuments, Vertrauenswürdigkeit oder Sprache repräsentieren die gesamte Nutzbarkeit des Dokuments im Kontext der Suchaufgabe, für einen bestimmten Suchenden und ihre motivierende Aufgabe. Der vorgeschlagene Rahmen bewertet die Qualität eines rangierten Suchergebnisses unter Berücksichtigung des Beitrags jedes nachfolgenden Dokuments, mit geschätzter Überschneidung über Themen und Nutzbarkeit basierend auf seinen Attributen.