Lernen zu Hashes für die Indizierung von Big Data—Eine Umfrage

Das explosive Wachstum von Big Data hat in letzter Zeit viel Aufmerksamkeit auf die Gestaltung effizienter Indizierungs- und Suchmethoden gelenkt. In vielen kritischen Anwendungen wie großangelegten Suchen und Mustererkennung ist das Finden der nächsten Nachbarn zu einer Abfrage ein grundlegendes Forschungsproblem. Die direkte Lösung durch erschöpfende Vergleiche ist jedoch aufgrund der prohibitiv hohen Rechenkomplexität und des Speicherbedarfs unpraktikabel. Als Reaktion darauf ist die Suche nach annähernden nächsten Nachbarn (ANN) basierend auf Hashing-Techniken aufgrund ihrer vielversprechenden Leistung sowohl in Bezug auf Effizienz als auch Genauigkeit populär geworden. Frühere randomisierte Hashing-Methoden, z.B. lokalitäts-sensible Hashing (LSH), untersuchen datenunabhängige Hash-Funktionen mit zufälligen Projektionen oder Permutationen. Obwohl sie elegante theoretische Garantien für die Suchqualität in bestimmten metrischen Räumen bieten, wurde gezeigt, dass die Leistung des randomisierten Hashings in vielen realen Anwendungen unzureichend ist. Als Lösung haben sich neue Ansätze herausgebildet, die datengetriebene Lernmethoden bei der Entwicklung fortschrittlicher Hash-Funktionen einbeziehen. Solche Methoden zum Lernen von Hashes nutzen Informationen wie Datenverteilungen oder Klassenlabels, während sie die Hash-Codes oder -Funktionen optimieren. Wichtig ist, dass die erlernten Hash-Codes die Nähe benachbarter Daten in den ursprünglichen Merkmalsräumen in den Hash-Code-Räumen bewahren können. Das Ziel dieses Papiers ist es, den Lesern ein systematisches Verständnis der Einsichten, Vor- und Nachteile der aufkommenden Techniken zu vermitteln. Wir bieten eine umfassende Umfrage über das Lern-zu-Hash-Rahmenwerk und repräsentative Techniken verschiedener Typen, einschließlich unüberwachter, halbüberwachter und überwacher Methoden. Darüber hinaus fassen wir auch aktuelle Hashing-Ansätze zusammen, die die Deep-Learning-Modelle nutzen. Schließlich diskutieren wir die zukünftige Richtung und Trends der Forschung in diesem Bereich.