Neuronale Retrieval-Systeme sind gegenüber LLM-generierten Inhalten voreingenommen

In jüngster Zeit hat das Aufkommen von großen Sprachmodellen (LLMs) das Paradigma der Anwendungen zur Informationsretrieval (IR) revolutioniert, insbesondere bei der Websuche, indem sie riesige Mengen menschlicher Texte im Internet generieren. Infolgedessen stehen IR-Systeme im LLM-Zeitalter vor einer neuen Herausforderung: Die indizierten Dokumente sind jetzt nicht nur von Menschen geschrieben, sondern auch automatisch von den LLMs erstellt. Wie diese LLM-generierten Dokumente die IR-Systeme beeinflussen, ist eine drängende und bisher unerforschte Frage. In dieser Arbeit führen wir eine quantitative Bewertung von IR-Modellen in Szenarien durch, in denen sowohl menschlich geschriebene als auch LLM-generierte Texte enthalten sind. Überraschenderweise zeigen unsere Ergebnisse, dass neuronale Retrieval-Modelle dazu tendieren, LLM-generierte Dokumente höher einzustufen. Wir bezeichnen diese Kategorie von Verzerrungen in neuronalen Retrieval-Systemen gegenüber dem LLM-generierten Inhalt als Quellenverzerrung. Zudem stellen wir fest, dass diese Verzerrung nicht auf die neuronalen Retrieval-Modelle der ersten Stufe beschränkt ist, sondern auch die neuronalen Re-Ranker der zweiten Stufe betrifft. Tiefgehende Analysen aus der Perspektive der Textkompression zeigen, dass LLM-generierte Texte eine fokussiertere Semantik mit weniger Rauschen aufweisen, was es den neuronalen Retrieval-Modellen erleichtert, semantische Übereinstimmungen zu finden. Um die Quellenverzerrung zu mildern, schlagen wir auch eine Plug-and-Play-entbiaste Einschränkung für das Optimierungsziel vor, und experimentelle Ergebnisse zeigen deren Effektivität. Schließlich diskutieren wir die potenziell schweren Bedenken, die sich aus der beobachteten Quellenverzerrung ergeben, und hoffen, dass unsere Ergebnisse als kritischer Weckruf für die IR-Community und darüber hinaus dienen können. Um zukünftige Erkundungen des IR im LLM-Zeitalter zu erleichtern, sind die beiden neu konstruierten Benchmarks unter https://github.com/KID-22/Source-Bias verfügbar.