Bewertung der Evaluation im Informationsretrieval

Die Bewertung ist eine bedeutende Kraft in der Forschung, Entwicklung und Anwendungen im Zusammenhang mit Informationsretrieval (IR). Dieses Papier ist eine kritische und historische Analyse von Bewertungen von IR-Systemen und -Prozessen. Stärken und Schwächen der Evaluierungsbemühungen und -ansätze werden diskutiert, zusammen mit den wichtigsten Herausforderungen und Fragen. Ein begrenzter Vergleich wird mit der Bewertung in Expertensystemen und Online Public Access Catalogs (OPACS) angestellt. Die Bewertung wird weiter im Hinblick auf den breiten Kontext und spezifische Probleme, die angesprochen werden, analysiert. Bewertungsniveaus werden identifiziert und kontrastiert. Die meisten IR-Bewertungen beschäftigten sich mit der Verarbeitungsebene, während andere auf der Ausgabestufe, den Nutzern und der Nutzung sowie den sozialen Ebenen durchgeführt wurden. Ein großes Problem ist die Isolation von Bewertungen auf einem bestimmten Niveau. Fragen zu den zu bewertenden Systemen sowie zu Bewertungskriterien, -messungen, -instrumenten und -methoden werden untersucht. Ein allgemeiner Punkt wird ebenfalls in Betracht gezogen: IR ist zunehmend in viele andere Anwendungen eingebettet, wie das Internet oder digitale Bibliotheken. Es wird wenig Bewertung im traditionellen IR-Sinn in Bezug auf diese Anwendungen durchgeführt. Die Herausforderungen bestehen darin, IR-Bewertungen aus verschiedenen Ebenen zu integrieren und die Bewertung in neuen Anwendungen einzubeziehen. Die Explosion ist ein komplexes soziales, kognitives, kulturelles und kommunikatives Problem und nicht nur ein technisches Problem. Somit ist IR grundlegend eine Aktivität, die auf Probleme mit denselben (sozialen, kognitiven, kommunikativen) Eigenschaften ausgerichtet ist. Letztendlich existiert IR als soziale Aktivität, um zu verknüpfen.