메모리 효율적인 희소 컨볼루션을 이용한 자율주행차의 실시간 3D 의미 점유 예측

자율주행차에서, 자차의 주변 3D 환경을 실시간으로 이해하는 것은 필수적입니다. 장면을 표현하면서 기하학적 거리와 의미 있는 객체 정보를 인코딩하는 간결한 방법은 3D 의미 점유 맵을 통해 이루어집니다. 최신 3D 매핑 방법은 크로스 어텐션 메커니즘을 가진 트랜스포머를 활용하여 2D 비전 중심 카메라 특성을 3D 도메인으로 발전시킵니다. 그러나 이러한 방법은 추론 과정에서 높은 계산 요구로 인해 실시간 애플리케이션에서 상당한 도전 과제를 겪습니다. 이 제한은 자율주행차에서 특히 문제가 되며, 그 이유는 GPU 자원을 위치 추적 및 계획과 같은 다른 작업과 공유해야 하기 때문입니다. 본 논문에서는 전방 뷰 2D 카메라 이미지와 LiDAR 스캔에서 특징을 추출한 뒤, 3D 의미 점유 예측을 위해 희소 컨볼루션 네트워크(민코프스키 엔진)를 사용하는 방법을 소개합니다. 자율주행 시나리오의 야외 장면이 본질적으로 희소하기 때문에 희소 컨볼루션의 활용은 특히 적합합니다. 희소 장면의 3D 장면 완성과 3D 의미 분할 문제를 공동으로 해결함으로써, 자율주행차의 실시간 애플리케이션에 적합한 보다 효율적인 학습 프레임워크를 제공합니다. 또한 nuScenes 데이터셋에서 경쟁력 있는 정확성을 입증합니다.