3D 객체 탐지를 위한 희소 밀집 융합

다양한 모드 학습의 확산에 따라 카메라-라이다 융합이 3D 객체 탐지에서 인기를 얻고 있습니다. 많은 융합 접근 방식이 제안되었으며, 이는 주로 두 가지 범주로 나뉩니다: 희소 전용 또는 밀집 전용. 이들은 융합 모듈 내의 특징 표현 방식에 의해 구분됩니다. 우리는 이러한 접근 방식을 공유된 분류 체계 내에서 분석하며, 두 가지 주요 도전을 식별합니다: (1) 희소 전용 방법론은 3D 기하학적 사전 정보를 유지하지만 카메라 데이터에서 의미론적 풍부함을 포착하지 못하며, (2) 밀집 전용 전략은 라이더로부터 파생된 정밀한 기하학적 정보를 희생하면서 의미론적 연속성을 보존합니다. 분석 결과 각기 다른 건축 설계로 인해 어느 정도의 정보 손실은 불가피하다는 결론에 도달합니다. 이러한 손실을 상쇄하기 위해, 우리는 희소 밀집 융합(SD-Fusion)이라는 혁신적인 프레임워크를 도입합니다. 이것은 변환기 아키텍처를 통해 희소 및 밀집 융합 모듈을 결합합니다. 간단하지만 효과적인 융합 전략은 의미론적 질감을 향상시키고 동시에 공간 구조 데이터를 활용합니다. 우리의 SD-Fusion 전략을 사용하여, 우리는 중간 성능의 두 가지 인기 있는 방법을 조합하여 mAP를 4.3% 증가시키고 NDS를 2.5% 올려 nuScenes 벤치마크에서 1위를 차지했습니다. 포괄적인 제거 연구는 우리 접근 방식의 효과를 검증하고 우리의 발견을 경험적으로 뒷받침합니다.