Key points are not available for this paper at this time.
대형 언어 모델(LLMs)은 텍스트 이해 능력이 뛰어난 것으로 나타났으며, 이는 비디오 데이터의 시각적 세부 사항을 이해하기 위해 Video LLM으로 확장되었습니다. 그러나 기존의 Video LLM은 전체 비디오에 대한 대략적인 설명만 제공할 수 있으며, 특정 사건의 정확한 시작 및 종료 시간 경계를 포착하지 못합니다. 본 논문에서는 시간 경계에 대한 세밀한 비디오 순간 이해 및 추론을 위해 설계된 새로운 Video LLM인 VTimeLLM을 제안함으로써 이 문제를 해결합니다. 구체적으로, 우리의 VTimeLLM은 경계 인식 3단계 훈련 전략을 채택하여, 특징 정렬을 위한 이미지-텍스트 쌍, 시간 경계 인식을 증가시키기 위한 다중 사건 비디오, 그리고 인간의 의도와 일치하면서 시간 이해 능력을 더 향상시키기 위한 고품질 비디오 지침 튜닝을 각각 활용합니다. 광범위한 실험 결과, Temporal Video Grounding 및 Dense Video Captioning과 같은 비디오의 세밀한 시간 관련 이해 작업에서 VTimeLLM은 기존 Video LLM을 크게 능가합니다. 또한 비디오의 세밀한 시간 이해 덕분에 VTimeLLM은 비디오 대화 벤치마크에서 기존 Video LLM을 이길 수 있으며, 이는 VTimeLLM이 뛰어난 교차 모달 이해 및 추론 능력을 가지고 있음을 보여줍니다. 11우리 프로젝트 페이지는 https://github.com/huangb23/VTimeLLM에 있습니다.
Huang et al. (Sun,)은 이 질문을 연구했습니다.