비전과 언어를 통한 능동적 장면 인식

이 논문은 능동적 비전 프레임워크에서 장면 인식 문제를 해결하기 위한 고수준 지식을 활용하는 새로운 접근법을 제시합니다. 우리는 이를 능동적 장면 인식이라고 부릅니다. 전통적인 접근법에서는 고수준 지식이 사물 탐지기의 출력을 결합하여 더 나은 분류 성능을 달성하기 위한 후처리에 사용됩니다. 반면, 제안된 접근법은 추론 모듈과 감각 모듈 간의 상호작용을 구현하여 고수준 지식을 능동적으로 활용합니다(그림 1). 이러한 패러다임에 따라, 우리는 능동적 장면 인식기를 구현하고 20개의 장면과 100개 이상의 객체로 이루어진 데이터셋으로 평가했습니다. 또한 속성을 가진 활동 인식을 위한 동적 장면 분석으로 확장했습니다. 실험 결과, 감지 프로세스에 주의와 추가 제약 조건을 도입하는 능동적 패러다임의 효과가 입증되었습니다.