다중 카메라 3D 물체 탐지를 위한 물체 이동 예측에 의한 시간적 신호 학습

자율 주행 및 로봇 공학에서 입력 비디오 스트림의 연속적이고 상관된 특성을 활용하여 다중 카메라 3D 물체 탐지를 향상시키기 위해 단기 과거 데이터를 활용하는 데 대한 관심이 증가하고 있습니다. 최근 작업은 시간 단계에 걸쳐 BEV 기반 특징을 공간적으로 정렬하는 데 집중하였습니다. 그러나 이는 장기적인 과거 관찰과의 상관성이 잘 확장되지 않는 한계가 있습니다. 이를 해결하기 위해 우리는 과거 관찰을 기반으로 물체의 자세를 예측하도록 모델을 감독하여 물체의 시간적 신호를 학습하도록 명시적으로 안내할 것을 주장합니다. 이를 위해 우리는 DAP(예측 후 탐지)라는 모델을 제안하는데, 이는 두 개의 가지로 구성된 네트워크입니다: (i) 과거 관찰을 종합하여 현재 물체의 자세를 예측하는 가지와 (ii) 현재 및 과거 관찰에 근거하여 물체를 탐지하는 다른 가지입니다. 가지 (i)에서 현재 물체를 예측하는 특징은 가지 (ii)로 융합되어 예측 지식을 전이합니다. 우리는 대규모 nuScenes 데이터셋을 사용하여 광범위한 실험을 수행하였고, 이러한 예측 정보를 활용할 때 전체 탐지 성능이 상당히 향상되는 것을 관찰하였습니다. 우리의 모델은 플러그 앤 플레이 방식으로 사용될 수 있으며, 일관된 성능 향상을 보여 줍니다.