히스토그램 손실을 이용한 안정적이고 제어 가능한 신경 질감 합성 및 스타일 전이

최근 합성곱 신경망(예: Gatys et al. 2015,2016)을 사용하여 질감 합성과 스타일 전이를 수행하는 방법이 제안되었습니다. 이러한 방법은 경우에 따라 최첨단 품질의 결과를 생성할 수 있기 때문에 흥미롭습니다. 그러나 본 논문에서는 이러한 방법이 질감 품질, 안정성, 필수 매개변수 조정, 사용자 제어 부족 등의 제한이 있음을 보여줍니다. 본 논문은 이러한 문제를 개선하는 합성곱 신경망 기반의 다중 스케일 합성 파이프라인을 제시합니다. 우리는 먼저 많은 이전 접근 방식에서 불안정성의 원인에 대한 수학적 설명을 제공합니다. 그런 다음 히스토그램 손실을 사용하여 예시와 통계적으로 더 잘 일치하는 질감을 합성함으로써 이러한 불안정성을 개선합니다. 우리는 또한 다중 스케일 프레임워크에 지역화된 스타일 손실을 통합하는 방법을 보여줍니다. 이러한 손실은 큰 특징의 품질을 개선하고, 내용과 스타일의 분리를 개선하며, 번호로 그리기와 같은 예술적 제어를 제공합니다. 우리는 우리의 접근 방식이 개선된 품질, 더 적은 반복에서의 수렴, 그리고 최적화에 대한 더 많은 안정성을 제공함을 입증합니다.