자율 주행에서 표현 학습을 통한 레이더 카메라 융합

레이더와 카메라는 성숙하고, 비용 효율적이며, 강력한 센서로 대량 생산된 자율 주행 시스템의 인식 스택에서 널리 사용되어 왔습니다. 이들의 보완적인 특성으로 인해, 레이더 탐지(레이더 핀)와 카메라 인식(2D 바운딩 박스)에서 출력된 데이터는 최상의 인식 결과를 생성하기 위해 융합됩니다. 성공적인 레이더-카메라 융합의 핵심은 정확한 데이터 연관성입니다. 레이더-카메라 연관성의 도전 과제는 운전 장면의 복잡성, 레이더 측정의 잡음과 희소성, 2D 바운딩 박스에서의 깊이 모호성에 기인합니다. 전통적인 규칙 기반 연관 방법은 어려운 시나리오에서 성능 저하에 취약하며 극단적인 경우에 실패할 수 있습니다. 본 연구에서는 깊은 표현 학습을 통해 레이더-카메라 연관성을 해결하고 특성 수준의 상호작용 및 전반적인 추론을 탐구할 것을 제안합니다. 또한, 불완전한 라벨링의 어려움을 극복하고, 중요한 인간 유사 추론을 강제하기 위해 손실 샘플링 메커니즘과 혁신적인 서열 손실을 설계합니다. 규칙 기반 알고리즘에 의해 생성된 잡음이 있는 라벨로 훈련됨에도 불구하고, 우리가 제안한 방법은 92.2% F1 점수를 달성하며, 이는 규칙 기반 교사보다 11.6% 높은 수치입니다. 게다가, 이 데이터 기반 방법은 극단적인 사례 채굴을 통해 지속적인 개선을 자아냅니다.