Ein Überblick über die plattformübergreifende Informationsretrieval: Konzepte, Methoden, Benchmarks und Herausforderungen

Multimedia-Retrieval spielt eine unverzichtbare Rolle bei der Nutzung von Big Data. Frühere Bemühungen konzentrierten sich hauptsächlich auf die Informationsretrieval von Einzelmedien. Die Anforderungen der Benutzer sind jedoch sehr flexibel, wie z.B. das Abrufen relevanter Audioausschnitte mit einer Abfrage von Bildern. Die Herausforderungen, die aus der „Medienlücke“ resultieren – was bedeutet, dass die Darstellungen verschiedener Medientypen inkonsistent sind – haben zunehmende Aufmerksamkeit auf sich gezogen. Das plattformübergreifende Retrieval ist für Szenarien konzipiert, in denen die Abfragen und Retrieval-Ergebnisse unterschiedliche Medientypen sind. Als relativ neues Forschungsthema sind seine Konzepte, Methoden und Benchmarks in der Literatur noch nicht klar. Um diese Probleme anzugehen, überprüfen wir mehr als 100 Referenzen, geben einen Überblick über Konzepte, Methoden, Hauptprobleme und offene Fragen und erstellen Benchmarks, einschließlich Datensätzen und experimentellen Ergebnissen. Forscher können die Benchmarks direkt verwenden, um ihre vorgeschlagenen Methoden schnell zu bewerten. Dies wird ihnen helfen, sich auf das Algorithmusdesign zu konzentrieren, anstatt auf die zeitaufwändige Vergleichsmethoden und Ergebnisse. Es sei erwähnt, dass wir einen neuen Datensatz XMedia erstellt haben, der der erste öffentlich verfügbare Datensatz mit bis zu fünf Medientypen (Text, Bild, Video, Audio und 3D-Modell) ist. Wir glauben, dass dieser Überblick mehr Forscher anziehen wird, die sich mit plattformübergreifendem Retrieval beschäftigen, und ihm hilfreich sein wird.