RangeViT: 자율주행에서 3D 의미 분할을 위한 비전 트랜스포머로의 접근

실외 LiDAR 포인트 클라우드의 의미 분할을 2D 문제로 간주하는 것, 예를 들어 범위 프로젝션을 통해, 효과적이고 인기 있는 접근 방식입니다. 이러한 프로젝션 기반 방법은 일반적으로 빠른 계산의 이점을 가지며, 다른 포인트 클라우드 표현을 사용하는 기술과 결합될 때 최첨단 결과를 달성합니다. 오늘날 프로젝션 기반 방법은 2D CNN을 활용하지만, 최근 컴퓨터 비전의 발전은 비전 트랜스포머(ViTs)가 많은 이미지 기반 벤치마크에서 최첨단 결과를 달성했음을 보여줍니다. 이 연구에서는 3D 의미 분할을 위한 프로젝션 기반 방법이 ViTs에 대한 이러한 최신 개선benefit을 누릴 수 있는지 질문합니다. 우리는 긍정적인 답을 하지만, 세 가지 핵심 요소와 결합한 후에만 가능합니다: (a) ViTs는 notoriously 훈련하기 어려우며 강력한 표현을 배우기 위해 많은 훈련 데이터가 필요합니다. RGB 이미지와 같은 동일한 백본 아키텍처를 유지함으로써, 우리는 포인트 클라우드보다 훨씬 저렴하게 수집하고 주석을 붙일 수 있는 대규모 이미지 컬렉션에서 긴 훈련에서 얻은 지식을 활용할 수 있습니다. 우리는 대규모 이미지 데이터 세트에서 사전 훈련된 ViTs로 최상의 결과를 얻습니다. (b) 우리는 맞춤형 합성곱 줄기를 고전적 선형 임베딩 레이어로 대체함으로써 ViTs의 귀납적 편향 부족을 보완합니다. (c) 우리는 합성곱 전처리기와 합성곱 줄기로부터의 스킵 연결을 사용하여 픽셀 단위 예측을 정제하여 합성곱 줄기의 저수준이지만 세밀한 특징과 ViT 인코더의 고수준이지만 조잡한 예측을 결합합니다. 이러한 요소들을 통해, 우리는 우리의 방법인 RangeViT가 nuScenes와 SemanticKITTI에서 기존 프로젝션 기반 방법들을 능가한 것을 보여줍니다. 코드는 https://github.com/valeoai/rangevit 에서 사용할 수 있습니다.