End-to-End-Retrieval im kontinuierlichen Raum

Die meisten textbasierten Informationsretrieval (IR)-Systeme indizieren Objekte nach Wörtern oder Phrasen. Diese diskreten Systeme wurden durch Modelle erweitert, die Embeddings verwenden, um Ähnlichkeiten im kontinuierlichen Raum zu messen. Kontinuierliche Modelle werden jedoch in der Regel nur verwendet, um die besten Kandidaten neu zu bewerten. Wir betrachten das Problem des End-to-End-Kontinuierlichen Retrievals, bei dem die übliche diskrete invertierte Indizierung durch die standardmäßige Approximate Nearest Neighbor (ANN)-Suche ersetzt wird und sich vollständig auf die Abstände zwischen gelernten Embeddings gestützt wird. Durch das Training einfacher Modelle speziell für das Retrieval mit einer geeigneten Modellarchitektur verbessern wir eine diskrete Basislinie um 8 % und 26 % (MAP) bei zwei ähnlichen Fragen-Retrieval-Aufgaben. Wir diskutieren auch das Problem der Evaluierung von Retrieval-Systemen und zeigen, wie bestehende paarweise Ähnlichkeitsdatensätze zu diesem Zweck modifiziert werden können.