LookinGood

증강 현실 및 가상 현실 애플리케이션, 예를 들어 원격 존재감을 바탕으로 하여, 최근에는 움직이는 인간의 실시간 성능 캡처에 대한 초점이 맞춰지고 있습니다. 그러나 실시간 제약 때문에 이러한 시스템은 최종 렌더링에서 기하학적 및 텍스처의 아티팩트, 예를 들어 구멍과 소음, 조명이 좋지 않거나 낮은 해상도의 텍스처가 발생하는 등의 문제를 종종 겪습니다. 우리는 이러한 실시간 성능 캡처 시스템을 임의의 시점에서 렌더링을 수행하고, 이미지를 실시간으로 완성 및 초고해상도 적용과 노이즈 제거를 동시에 수행하는 심층 아키텍처로 보강하는 새로운 접근 방식을 취합니다. 우리는 이 접근 방식을 신경망 (재)렌더링이라고 부르며, 우리의 실시간 시스템을 "LookinGood"이라고 명명합니다. 우리의 심층 아키텍처는 거친 렌더링으로부터 고해상도 및 고품질 이미지를 실시간으로 생성하도록 훈련됩니다. 첫째, 우리는 수동적인 실제 주석을 필요로 하지 않는 자가 감독 훈련 방법을 제안합니다. 우리는 주제의 관련 부분, 예를 들어 얼굴에 집중하기 위해 의미 정보를 활용하는 특화된 재구성 오류를 기여합니다. 또한, 이상치를 제거할 수 있는 손실 함수의 두드러진 가중재조정 방안을 도입합니다. 우리는 가상 현실 및 증강 현실 헤드셋을 위해 시스템을 특별히 설계하였으며, 왼쪽 및 오른쪽 눈 간의 일관성이 최종 사용자 경험에서 중요한 역할을 합니다. 마지막으로, 두 개의 연속적인 프레임 간의 차이를 명시적으로 최소화하여 시간적으로 안정적인 결과를 생성합니다. 우리는 제안된 시스템을 두 가지 시나리오에서 테스트하였습니다: 첫 번째는 단일 RGB-D 센서를 포함하고 배우의 상반신 재구성을 포함하며, 두 번째는 전체 신체 360° 캡처를 포함합니다. 광범위한 실험을 통해 우리의 시스템이 보지 못한 시퀀스와 주제에 대해 어떻게 일반화되는지를 입증합니다.