Key points are not available for this paper at this time.
이미지 기반 재조명, 프로젝터 보상 및 깊이/노멀 재구성은 프로젝터-카메라 시스템(ProCams)과 공간 증강 현실(SAR)의 세 가지 중요한 과제입니다. 이들은 프로젝터-카메라 이미지 매핑을 찾는 유사한 파이프라인을 공유하지만, 전통적으로는 서로 독립적으로 다루어지며, 때로는 서로 다른 전제조건, 장치 및 샘플링 이미지를 필요로 합니다. 실제로, SAR 애플리케이션에서 이들을 하나씩 다루는 것은 번거로울 수 있습니다. 본 논문에서는 ProCams의 광학적 및 기하학적 매핑을 명시적으로 학습하기 위해 DeProCams라는 새로운 끝-투-끝 학습 모델을 제안합니다. 한 번 훈련받으면 DeProCams는 세 가지 작업에 동시에 적용될 수 있습니다. DeProCams는 프로젝터-카메라 이미지 매핑을 음영 속성 추정, 거친 직광 추정 및 포토리얼리스틱 신경 렌더링의 세 가지 하위 프로세스로 명시적으로 분해합니다. DeProCams가 해결하는 특정 과제는 차폐로, 우리는 에피폴라 제약을 활용하고 새로운 미분 가능한 프로젝터 직광 마스크를 제안합니다. 따라서 다른 모듈과 함께 끝-투-끝으로 학습될 수 있습니다. 이후 수렴을 개선하기 위해 중간 결과가 그럴듯하도록 광학 및 기하학적 제약을 적용합니다. 실험에서 DeProCams는 이전 작품들에 비해 명확한 장점을 보여주며, 품질이 유망하고 동시에 완전히 미분 가능합니다. 더욱이, 세 가지 작업을 통합 모델에서 해결함으로써 DeProCams는 추가 광학 장치, 방사선 보정 및 구조화된 빛의 필요성을 없앱니다.
Huang et al. (Mon,)은 이 문제를 연구했습니다.