모노퓨전: 단일 웹 카메라를 이용한 작은 장면의 실시간 3D 재구성

모노퓨전은 사용자가 단일의 상용 웹 카메라만을 입력 센서로 활용하여 환경의 밀집 3D 재구성을 실시간으로 구축할 수 있게 해줍니다. 카메라는 태블릿, 전화기 또는 독립형 장치에 이미 장착된 것을 사용할 수 있습니다. 추가 입력 하드웨어는 필요하지 않습니다. 이는 자연적인 야외 조명에서 안정적으로 작동하지 않는 전력 소모가 큰 능동 센서의 필요성을 제거합니다. 카메라의 입력 스트림을 사용하여 먼저 희소 추적 방법을 사용해 6DoF 카메라 자세를 추정합니다. 이러한 자세는 입력 프레임과 이전에 추출된 키 프레임 간의 효율적인 밀집 스테레오 매칭에 사용됩니다. 결과적으로 생성된 밀집 깊이 맵은 볼륨 기반의 암시적 모델로 직접 융합되며(계산적으로 저렴한 방법을 사용) 각 프레임에 대해 표면이 추출됩니다. 이 시스템은 추적 실패에서 복구할 수 있을 뿐만 아니라 3D 재구성에서 기하학적으로 불일치하는 노이즈를 필터링할 수 있습니다. 우리의 방법은 구현이 간단하고 효율적이며, 이러한 시스템을 더욱 접근 가능하게 만듭니다. 본 논문은 우리의 시스템을 구성하는 알고리즘 구성 요소와 우리의 접근 방식의 GPU 구현에 대해 자세히 설명합니다. 질적 결과는 KinectFusion과 같은 능동 깊이 센서 기반 시스템과 시각적으로 비교할 수 있을 정도로 높은 품질의 재구성을 보여줍니다.