DMCL: 다중 모달 행동 인식을 위한 증류 다중 선택 학습

이 작업에서는 멀티모달 데이터를 사용하여 전문 네트워크의 앙상블을 학습하는 문제를 다루며, 테스트 시 누락된 모달리티의 가능성이 있는 현실적이고 도전적인 시나리오를 고려합니다. 우리의 목표는 앙상블과 각 개별 네트워크의 이익을 위해 여러 모달리티의 보완 정보를 활용하는 것입니다. 우리는 서로 협력하는 환경에서 처음부터 학습하는 다양한 모달리티 네트워크를 위한 새로운 증류 다중 선택 학습 프레임워크를 소개합니다. 우리 방법을 사용하여 학습된 모달리티 네트워크는 다른 모달리티의 안내 덕분에 별도로 훈련된 경우보다 significantly 더 높은 정확도를 달성합니다. 우리는 세 가지 비디오 행동 인식 벤치마크 데이터 세트에서 이 접근 방식을 평가합니다. 우리는 테스트 시 누락된 모달리티로 작업하는 다른 접근 방식과 비교하여 최첨단 결과를 얻었습니다.