VTimeLLM: LLM ermächtigen, Video-Momente zu erfassen

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten im Textverständnis gezeigt, die als Video-LLMs erweitert wurden, um Videodaten zu verarbeiten und visuelle Details zu verstehen. Allerdings können bestehende Video-LLMs nur eine grobe Beschreibung des gesamten Videos liefern und versäumen es, die genauen Start- und Endzeitgrenzen spezifischer Ereignisse zu erfassen. In diesem Papier lösen wir dieses Problem, indem wir VTimeLLM vorschlagen, ein neuartiges Video-LLM, das für das feingliedrige Verständnis von Video-Momenten und das zeitliche Argumentieren konzipiert ist. Insbesondere verwendet unser VTimeLLM eine grenzbewusste dreistufige Trainingsstrategie, die jeweils Bild-Text-Paare für die Merkmalsanpassung, mehrere Ereignisvideos zur Erhöhung des zeitlichen Grenzbewusstseins und hochwertiges Video-Instruktions-Tuning nutzt, um die zeitliche Verständnisfähigkeit weiter zu verbessern und sich mit menschlichen Absichten in Einklang zu bringen. Umfangreiche Experimente zeigen, dass VTimeLLM in feingliedrigen zeitbezogenen Verständnisaufgaben für Videos wie zeitlicher Video-Verankerung und dichter Video-Beschriftung bestehende Video-LLMs signifikant übertrifft. Darüber hinaus ermöglichen die feingliedrigen zeitlichen Verständnisse der Videos, dass VTimeLLM auch in Benchmark-Tests für video-gestützte Dialoge bestehende Video-LLMs übertrifft, was seine überlegenen crossmodalen Verständnis- und Argumentationsfähigkeiten zeigt. 11Unsere Projektseite ist unter https://github.com/huangb23/VTimeLLM