MeshVPR: 3D 메시를 이용한 도시 전역 시각적 장소 인식

메시 기반 장면 표현은 대규모 계층적 시각 로컬라이제이션 파이프라인을 단순화하는 유망한 방향을 제공합니다. 이는 전역 특성을 기반으로 한 시각적 장소 인식 단계(검색)와 지역 특성을 기반으로 한 시각 로컬라이제이션 단계가 결합되어 있습니다. 기존 연구는 시각 로컬라이제이션을 위한 메시의 가능성을 보여주고 있지만, 시각적 장소 인식에서 이로부터 렌더링된 합성 데이터베이스를 사용할 때의 영향은 아직 크게 탐구되지 않았습니다. 본 연구에서는 대규모 시각적 장소 인식(VPR)을 위해 밀집된 3D 텍스처 메시를 사용하는 것에 대해 조사하고, 합성 메시 기반 데이터베이스를 사용할 때 실세계 이미지에 비해 성능이 상당히 저하되는 것을 확인했습니다. 이를 해결하기 위해, 우리는 실제 세계와 합성 도메인 간의 격차를 연결하기 위한 경량 피처 정렬 프레임워크를 활용하는 새로운 VPR 파이프라인인 MeshVPR를 제안합니다. MeshVPR는 사전 훈련된 VPR 모델을 활용하며, 도시 전체에 배포하기에 효율적이고 확장 가능합니다. 우리는 베를린, 파리, 멜버른의 3D 메시와 수동으로 수집된 쿼리를 포함한 새로운 데이터세트를 소개합니다. 광범위한 평가 결과 MeshVPR가 표준 VPR 파이프라인과 경쟁력 있는 성능을 달성함을 보여주며, 메시 기반 로컬라이제이션 시스템의 길을 열어줍니다. 우리의 기여에는 도시 전역 메시 기반 VPR의 새로운 과제, 새로운 기준 데이터세트, MeshVPR 및 열린 문제에 대한 철저한 분석이 포함됩니다. 데이터, 코드 및 상호작용 시각화는 https://mesh-vpr.github.io에서 확인할 수 있습니다.