PAD-Net: 다중 작업 가이든 예측 및 증류 네트워크를 통한 동시 깊이 추정 및 장면 파싱

깊이 추정과 장면 파싱은 시각적 장면 이해에서 두 가지 특히 중요한 작업입니다. 본 논문에서는 공동 CNN에서 동시 깊이 추정 및 장면 파싱 문제를 다룹니다. 이 작업은 일반적으로 심층 다중 작업 학습 문제로 처리될 수 있습니다. 기존의 방법이 입력 훈련 데이터를 기반으로 여러 작업을 직접 최적화하는 것과는 달리, 본 논문에서는 낮은 수준에서 높은 수준에 이르는 중간 보조 작업 집합을 먼저 예측한 다음, 이러한 중간 보조 작업에서의 예측값을 최종 작업을 위한 다중 모달 입력으로 활용하는 새로운 다중 작업 가이드 예측 및 증류 네트워크(PAD-Net)를 제안합니다. 공동 학습 동안 중간 작업은 보다 강력한 심층 표현을 학습하기 위한 감독 역할을 할 뿐만 아니라 최종 작업을 개선하기 위한 풍부한 다중 모달 정보를 제공합니다. 깊이 추정 및 장면 파싱 작업을 위한 두 가지 도전적인 데이터셋(NYUD-v2 및 Cityscapes)에서 광범위한 실험을 수행하여 제안한 접근법의 효과를 입증합니다.