TextureFusion: 고품질 텍스처 획득을 위한 실시간 RGB-D 스캔

실시간 RGB-D 스캔 기술은 핸드헬드 센서를 사용하여 객체를 점진적으로 스캔하는 데 널리 사용되고 있습니다. 기존의 온라인 방법은 각 복셀에 대해 색상 정보를 복원하며, 이로 인해 품질은 종종 공간 해상도와 시간 성능 사이의 tradeoff에 의해 제한됩니다. 또한, 이러한 방법은 종종 캡처된 텍스처에서 흐릿한 아티팩트로 고통받습니다. 비 강체 왜곡을 사용하는 전통적인 오프라인 텍스처 매핑 방법은 재구성된 기하학과 모든 입력 뷰가 미리 얻어졌다고 가정하며, 최적화는 메쉬 매개변수화 및 왜곡 매개변수를 계산하는 데 오랜 시간이 걸리므로 실시간 애플리케이션에서 사용되지 못하게 됩니다. 이 작업에서는 실시간 RGB-D 스캔을 위해 특별히 설계된 점진적 텍스처 융합 방법을 제안합니다. 이를 위해, 우리는 먼저 텍스처 타일이 부호화된 거리 함수의 복셀 그리드에 내장된 새로운 텍스처 타일 복셀 그리드를 고안하여 저해상도 기하학 볼륨에서 고해상도 텍스처 매핑을 가능하게 합니다. 비싼 메쉬 매개변수화를 사용하는 대신, 우리는 암묵적 기하학의 정점과 텍스처 좌표를 직접 연결합니다. 두 번째로, 우리는 입력 이미지에 공간적으로 변화하는 원근 맵핑을 적용하는 실시간 텍스처 왜곡을 도입하여 텍스처 왜곡이 중간 기하학과 현재 입력 뷰 간의 불일치를 효율적으로 완화하도록 합니다. 이 방법은 실시간으로 기하학을 업데이트하면서 텍스처의 품질을 시간이 지남에 따라 향상시킬 수 있습니다. 결과는 우리의 실시간 텍스처 매핑 품질이 철저한 오프라인 텍스처 왜곡 방법과 매우 경쟁력이 있음을 보여줍니다. 우리의 방법은 기존 RGB-D 스캔 프레임워크에 통합될 수 있는 능력도 갖추고 있습니다.