확산 모델 훈련을 위한 잡음 제거 과제 난이도 기반 커리큘럼

확산 기반 생성 모델은 생성 모델링 분야에서 강력한 도구로 부상했습니다. 다양한 시점과 잡음 수준에서의 잡음 제거에 관한 폭넓은 연구에도 불구하고, 잡음 제거 과제의 상대적 난이도에 대해선 여전히 갈등이 존재합니다. 일부 연구는 낮은 시점이 더 어려운 과제라고 주장하는 반면, 다른 연구들은 높은 시점이 더 어렵다고 봅니다. 이 갈등을 해결하기 위해, 본 연구는 시점 간 확률 분포의 상대 엔트로피 변화 및 수렴 행동에 초점을 맞춰 과제 난이도를 종합적으로 조사했습니다. 관찰 연구 결과, 초기 시점에서의 잡음 제거가 느린 수렴과 높은 상대 엔트로피로 특징지어지는 어려움을 나타내며, 이들 낮은 시점에서 과제 난이도가 증가함을 확인했습니다. 이를 바탕으로 커리큘럼 학습에서 영감을 얻은 쉬운 것부터 어려운 것으로 진행하는 학습 방식을 도입하여 확산 모델의 훈련 과정을 향상시켰습니다. 시점 또는 잡음 수준을 군집으로 조직하고 난이도 순서에 따라 모델을 훈련시킴으로써, 모든 시점에서 동시 훈련하는 기존 접근법과 달리 난이도 인지 훈련 체계를 구축하였습니다. 본 접근법은 커리큘럼 학습의 이점을 활용하여 성능 향상과 더 빠른 수렴을 달성하며, 기존 확산 훈련 기법들과도 직교적으로 적용 가능합니다. 무조건, 클래스 조건부, 텍스트-이미지 생성 등 이미지 생성 작업에서 종합적인 실험을 통해 이러한 이점을 검증했습니다.