Analysis of Modality-Based VideoRAG Pipelines for Video Question Answering

본 연구는 VideoRAG 성능이 모달리티 구성에 따라 달라지는 양상을 분석하기 위해 Text-only, Vision-only, Text-Vision 결합, Multimodal 융합의 네 가지 파이프라인을 비교한다. 60개 영상에서 구축한 1,800개의 텍스트·시각·복합 QA를 대상으로 BERTScore로 의미 정확도를 평가한 결과, Text-only와 Vision-only 파이프라인은 특정 질문 유형에서만 강점을 보였고, Text-Vision RAG는 안정적인 품질을 나타냈다. 특히 전사 정보와 다중 프레임 설명을 결합한 Multimodal 파이프라인의 성능이 가장 높았다. 이는 VideoRAG에서 멀티모달 통합과 모달리티 간 의미 정렬이 핵심 요소이며, 향후 장면 분할과 고도화된 융합 전략이 필요함을 시사한다.