video-SALMONN: Sprachverbesserte Audio-Visuelle Große Sprachmodelle

Das Sprachverständnis als Element des allgemeineren Videoverständnisses unter Verwendung von audio-visuellen großen Sprachmodellen (av-LLMs) ist ein entscheidender, aber wenig erforschter Aspekt. Dieses Papier schlägt video-SALMONN vor, ein End-to-End av-LLM für die Videoverarbeitung, das nicht nur visuelle Bildfolgen, Audioereignisse und Musik, sondern auch Sprache verstehen kann. Um feingranulare zeitliche Informationen zu erhalten, die für das Sprachverständnis erforderlich sind, und gleichzeitig effizient für andere Videoelemente zu bleiben, schlägt dieses Papier eine neuartige Multi-Resolution Causal Q-Former (MRC Q-Former) Struktur vor, um vortrainierte audio-visuelle Encoder mit dem Backbone großen Sprachmodell zu verbinden. Darüber hinaus werden spezifische Trainingsansätze, einschließlich des Diversitätsverlusts und des unpaarigen audio-visuellen Mischtrainingsschemas, vorgeschlagen, um Rahmen- oder Modalitätsdominanz zu vermeiden. Im eingeführten Sprach-audio-visuellen Evaluationsbenchmark erzielt video-SALMONN mehr als 25\% absolute Genauigkeitsverbesserungen bei der Video-QA-Aufgabe und über 30\% absolute Genauigkeitsverbesserungen bei audio-visuellen QA-Aufgaben mit menschlicher Sprache. Darüber hinaus zeigt video-SALMONN bemerkenswerte Fähigkeiten im Verständnis und in der Logik von Videos bei Aufgaben, die von anderen av-LLMs bisher nicht erreicht wurden. Unser Trainingscode und unsere Modell-Checkpoints sind verfügbar unter https://github.com/bytedance/SALMONN/.