Wahrnehmung der Benutzer von fairness-kalibrierten Empfehlungen

Die Forschungscommunity ist sich zunehmend der möglichen unerwünschten Auswirkungen algorithmischer Verzerrungen in Empfehlungssystemen bewusst geworden. Eine häufige Verzerrung in solchen Systemen besteht darin, dass bestimmten Elementen überproportional viel Aufmerksamkeit geschenkt wird, was letztendlich zu einem System führen kann, das von den einzelnen Stakeholdern als unfair empfunden wird. Aus technischer Sicht werden in solchen Situationen häufig Kalibrierungsansätze verwendet, um sicherzustellen, dass die individuellen Präferenzen der Benutzer besser berücksichtigt werden, was auch zu einer insgesamt ausgewogeneren Exposition gegenüber Elementen führt. Angesichts der bekannten Einschränkungen der heutigen vorherrschenden Offline-Bewertungsansätze zielt unsere Arbeit darauf ab, zu einem besseren Verständnis der Wahrnehmung der Benutzer bezüglich der Fairness und Qualität von Empfehlungen beizutragen, wenn diese auf eine kalibrierte Weise bereitgestellt werden. Daher haben wir eine Online-Benutzerstudie (N=500) durchgeführt, bei der wir die Behandlungsgruppen mit Empfehlungen konfrontiert haben, die hinsichtlich zweier verschiedener Elementcharakteristika auf Fairness kalibriert waren. Unsere Ergebnisse zeigen, dass Kalibrierung tatsächlich effektiv sein kann, um die Entscheidungen der Benutzer in Richtung der „Fairness-Elemente“ zu lenken, ohne die Gesamtwahrnehmung der Qualität des Systems negativ zu beeinflussen. Wir haben jedoch auch festgestellt, dass die Kalibrierung die Fairness-Wahrnehmungen der Benutzer nicht messbar beeinflusste, es sei denn, das System bietet erklärende Informationen. Schließlich weist unsere Studie auf Herausforderungen bei der praktischen Anwendung von Kalibrierungsansätzen hin, insbesondere bei der Festlegung geeigneter Parameter.