MaterIA: 야외에서의 단일 이미지 고해상도 소재 캡처

초록 우리는 자연 조명 조건에서 어떤 종류의 카메라 장치를 사용하여 캡처한 옥외 표면의 단일 고해상도 사진으로부터 물리 기반의 공간적으로 변하는 BRDF를 재구성하기 위해 하이브리드 방법을 제안합니다. 딥 러닝과 명시적 처리를 모두 활용하여, 우리의 PBR 소재 획득 방식은 고도로 불규칙한 표면을 캡처할 때 존재하는 음영, 투사된 그림자 및 반사 하이라이트를 제거하고 기저 기하학을 올바르게 복원할 수 있도록 합니다. 이를 달성하기 위해, 우리는 다양한 조명 조건에서 렌더링된 물리 기반 소재에 대해 두 개의 연속된 U-Net을 훈련시켜 공간적으로 변하는 알베도 및 법선 맵을 추론합니다. 우리의 네트워크는 상대적으로 작은 이미지 타일(512 × 512 픽셀)을 처리하며, 이러한 타일을 가로질러 포아송 시스템을 해결하여 더 큰 이미지 해상도를 처리하기 위한 솔루션을 제안합니다. 우리는 높이, 거칠기 및 주변 폐쇄를 재구성하기 위해 분석적 솔루션으로 이 파이프라인을 완성합니다.