희소 시간 풀링 네트워크를 통한 약한 감독 행동 위치 지정

우리는 컨볼루션 신경망을 이용하여 잘라지지 않은 비디오에 대한 약한 감독의 시간 행동 위치 지정 알고리즘을 제안합니다. 우리 알고리즘은 비디오 수준의 클래스 레이블에서 학습하고, 시간 위치 지정 주석이 필요 없이 인간 행동의 시간 간격을 예측합니다. 주의 모듈을 활용하여 비디오 내 목표 행동과 관련된 주요 세그먼트의 희소 집합을 식별하고, 적응형 시간 풀링을 통해 주요 세그먼트를 융합하도록 네트워크를 설계했습니다. 손실 함수는 비디오 수준 행동 분류 오류를 최소화하고 세그먼트 선택의 희소성을 강제하는 두 가지 항목으로 구성됩니다. 추론 시간에는 시간 클래스 활성화와 클래스에 무관한 주의를 사용하여 목표 행동에 해당하는 시간 간격을 추정하기 위해 시간 제안안을 추출하고 점수를 매깁니다. 제안된 알고리즘은 THUMOS14 데이터셋에서 최첨단 결과를 달성하며, 약한 감독에도 불구하고 ActivityNet1.3에서 뛰어난 성능을 발휘합니다.