쌍둥이 교사 지식 증류 및 비지도 융합을 통한 비연결 실제 이미지 해상도 개선

초록 기존의 학습 기반 해상도 개선 알고리즘은 쌍으로 된 깨끗한 데이터가 부족하여 실제 세계의 흐릿한 이미지를 처리하는 데 어려움을 겪습니다. 게다가 대부분의 해상도 개선 방법은 상당한 계산 및 메모리를 필요로 합니다. 이러한 문제를 해결하기 위해 본 논문에서는 단일 이미지 해상도 개선을 위한 쌍둥이 교사 지식 증류 및 비지도 융합 프레임워크를 제안합니다. 먼저, 실제 세계의 흐릿한 이미지에서 복잡한 열화 요인을 고려하여 두 개의 합성-실제 해상도 개선 네트워크를 탐색하여 이질적인 증류 전략을 통해 두 개의 예비 해상도 결과를 생성합니다. 둘째, 더 유자격의 실제 진리를 얻기 위해 비지도 적대적 융합 네트워크를 제안하여 쌍으로 연결되지 않은 깨끗한 이미지로 교사의 예비 출력을 다듬습니다. 특히 쌍으로 연결되지 않은 깨끗한 이미지는 어두운 아티팩트를 처리하기 위해 향상됩니다. 더욱이 비지도 적대적 훈련에서 구조 왜곡을 완화하기 위해 융합 네트워크의 출력을 제약하기 위해 중간 이미지를 구성했습니다. 마지막으로, 메모리 저장 및 계산 오버헤드를 고려하여 원본 흐릿한 이미지에서 융합 네트워크의 출력으로의 매핑을 학습하기 위해 엔드 투 엔드 경량 학생 네트워크를 훈련시킵니다. 실험 결과는 제안된 방법이 참고 없는 이미지 품질 평가 및 매개변수 측면에서 실제 세계의 흐릿한 이미지에서 최첨단의 성능을 달성함을 보여줍니다.