Visuelle Aufmerksamkeit für implizites Relevanz-Feedback in einer inhaltsbasierten Bildsuche

In diesem Papier schlagen wir eine Methode für implizites Relevanz-Feedback vor, mit dem Ziel, die Leistung bekannter inhaltsbasierter Bildabrufsysteme (CBIR) zu verbessern, indem die abgerufenen Bilder gemäß den Augenbewegungsdaten der Benutzer neu eingestuft werden. Dies stellt einen neuen Mechanismus für implizites Relevanz-Feedback dar. Üblicherweise basieren die Quellen, die für die Bildsuche berücksichtigt werden, auf dem natürlichen Verhalten des Benutzers in seiner/ihrer Umgebung, das durch die Analyse von Maus- und Tastaturinteraktionen geschätzt wird. Im Detail berechnet unser System nach dem Abruf der Bilder durch Abfragen von CBIR mit einem Schlüsselwort die auffälligsten Regionen (in denen Benutzer mit größerem Interesse schauen) der abgerufenen Bilder, indem es Daten von einem unaufdringlichen Eye-Tracker, wie dem Tobii T60, sammelt. Basierend auf den Eigenschaften hinsichtlich Farbe und Textur dieser relevanten Regionen kann unser System die zunächst von CBIR abgerufenen Bilder neu einstufen. Die Leistungsbewertung, die an einer Gruppe von 30 Benutzern unter Verwendung von Google Bilder und Schlüsselwörtern im "Pyramiden"-Stil durchgeführt wurde, zeigt, dass etwa 87% der Benutzer mit den Ausgabe-Bildern zufriedener sind, wenn die Neueinstufung angewendet wird.