EIN GEEIGNETER ANSATZ: Verwendung von großen Sprachmodellen zur Generierung von Audio-Beschreibungen für egocentric Text-Audio-Retrieval

Videodatenbanken aus dem Internet sind eine wertvolle Quelle für Text-Audio-Retrieval-Datensätze. Da Audio- und Videostreams jedoch unterschiedliche "Blicke" auf die Daten darstellen, ist es alles andere als optimal, visuelle Beschreibungen als Audio-Beschreibungen zu behandeln. Selbst wenn Audio-Klassenlabels vorhanden sind, sind diese häufig nicht sehr detailliert, was sie für Text-Audio-Retrieval ungeeignet macht. Um relevante Audioinformationen aus Video-Text-Datensätzen zu nutzen, stellen wir eine Methodik zur Generierung audiozentrierter Beschreibungen mithilfe von großen Sprachmodellen (LLMs) vor. In dieser Arbeit betrachten wir die egocentric Video-Umgebung und schlagen drei neue Text-Audio-Retrieval-Benchmarks vor, die auf den Aufgaben EpicMIR und EgoMCQ sowie auf dem EpicSounds-Datensatz basieren. Unser Ansatz zur Erlangung audiozentrierter Beschreibungen zeigt eine deutlich höhere Zero-Shot-Leistung als die Verwendung der ursprünglichen visuell-zentrierten Beschreibungen. Darüber hinaus zeigen wir, dass wir mit denselben Eingabeaufforderungen LLMs erfolgreich nutzen können, um das Retrieval bei EpicSounds zu verbessern, im Vergleich zur Verwendung der ursprünglichen Audio-Klassenlabels des Datensatzes. Schließlich bestätigen wir, dass LLMs verwendet werden können, um die Schwierigkeit zu bestimmen, die mit einer bestimmten Handlung, die mit einem Geräusch verbunden ist, zu identifizieren.