부드러운 에너지 안내: 낮은 에너지 곡률을 가진 주의 기반 확산 모델 안내

조건부 확산 모델은 시각 콘텐츠 생성에서 놀라운 성공을 보여주었으며, 다양한 분야에서 고품질 샘플을 생성했습니다. 이는 주로 분류기 없는 안내(CFG) 덕분입니다. 최근 조건이 없는 모델로 안내를 확장하려는 시도는 휴리스틱 기법에 의존하여, 생성 품질이 최적이 아니고 의도하지 않은 효과가 발생했습니다. 본 연구에서는 이미지 생성을 향상시키기 위한 새로운 훈련 및 조건 없는 접근 방식인 부드러운 에너지 안내(SEG)를 제안합니다. 자기 주의 메커니즘의 에너지 기반 관점을 활용하여 자가 주의 에너지를 정의하고, 주의의 에너지 경관의 곡률을 줄이는 방법을 도입하여 출력을 조건 없는 예측으로 사용합니다. 실제로는 안내 비율 매개변수를 고정한 채 가우시안 커널 매개변수를 조정하여 에너지 경관의 곡률을 조절합니다. 또한 우리는 전체 주의 가중치를 흐리게 하는 것과 동등한 질의 흐림 방법을 제시하여 토큰 수에 대한 이차 복잡성을 발생시키지 않습니다. 실험에서는 SEG가 품질과 부작용 감소 모두에서 Pareto 개선을 달성했습니다. 코드는 https://github.com/SusungHong/SEG-SDXL에서 확인할 수 있습니다.