NeXtFusion: 향상된 3차원 물체 탐지 및 추적을 위한 주의 기반 카메라-레이더 융합 네트워크

정확한 인식은 자율주행차(AV)가 안전하게 탐색하는 데 필수적이며, 특히 단일 센서 네트워크(예: 카메라 또는 레이더)가 기동성이 떨어지고 인식할 수 없는 물체에 어려움을 겪는 악천후 및 조명 조건에서는 더욱 중요합니다. 심층 카메라-레이더 융합 신경망은 어떠한 기상 및 조명 조건에서도 신뢰할 수 있는 AV 인식에 대한 유망한 솔루션을 제공합니다. 카메라는 풍부한 의미 정보를 제공하고, 레이더는 안개와 어둠을 관통하는 엑스레이 비전처럼 작동합니다. 본 연구는 물체 탐지 정확도와 추적의 향상을 위해 강력한 AV 인식을 위한 새로운 효율적인 카메라-레이더 융합 네트워크인 NeXtFusion을 제안합니다. 주의 모듈을 활용한 우리의 제안 방법은 물체 탐지를 위한 중요한 특징 표현을 향상시키면서 다중 모드 데이터로부터의 정보 손실을 최소화합니다. 도전적인 nuScenes 데이터셋에 대한 광범위한 실험은 NeXtFusion이 타 방법들에 비해 작고 먼 물체를 탐지하는 데 우수한 성능을 보여줍니다. 특히 NeXtFusion은 nuScenes 검증 세트에서 0.473의 최고 mAP 점수를 달성하여 OFT(35.1% 개선) 및 MonoDIS(9.5% 개선)와 같은 경쟁자를 능가합니다. 또한 NeXtFusion은 mATE(0.449) 및 mAOE(0.534)와 같은 다른 지표에서도 강력한 성능을 보여줘 3D 물체 탐지에서의 전반적인 효과성을 강조합니다. 게다가 NeXtFusion에 의해 처리된 nuScenes 데이터의 시각화는 다양한 실제 시나리오를 처리할 수 있는 능력을 추가로 보여줍니다. 이러한 결과는 NeXtFusion이 자율 주행의 AV 인식 및 안전성을 향상시키기 위한 유망한 심층 융합 네트워크임을 시사합니다.