텍스트 안내 이미지 편집을 위한 안정적인 확산에서 교차 및 자기 주의 이해로 나아가기

안정적인 확산과 같은 심층 텍스트-이미지 합성(TIS) 모델은 최근 창의적인 텍스트-이미지 생성으로 크게 인기를 얻고 있습니다. 그러나 도메인 특정 시나리오에서는 튜닝이 필요 없는 텍스트 안내 이미지 편집(TIE)이 응용 프로그램 개발자에게 더욱 중요합니다. 이는 생성 과정에서 주의 레이어의 특징 구성 요소를 조작하여 이미지의 객체 또는 객체 속성을 수정합니다. 그러나 이러한 주의 레이어가 학습한 의미와 주의 맵의 어느 부분이 이미지 편집의 성공에 기여하는지에 대해서는 알려진 바가 거의 없습니다. 본 논문에서는 심층적인 탐색 분석을 수행하고 안정적인 확산의 교차 주의 맵이 종종 편집 실패를 초래할 수 있는 객체 귀속 정보를 포함하고 있음을 입증합니다. 반면에, 자기 주의 맵은 대상 이미지로의 변환 과정에서 원본 이미지의 기하학적 및 형태 세부 사항을 유지하는 데 중요한 역할을 합니다. 우리의 분석은 확산 모델에서 교차 및 자기 주의 맵을 이해하는 데 귀중한 통찰력을 제공합니다. 또한, 우리의 발견을 바탕으로, 인기 있는 이미지 편집 방법을 간소화하고 노이즈 제거 과정에서 지정된 주의 레이어의 자기 주의 맵만 수정하는 보다 직관적이면서도 더 안정적이고 효율적인 튜닝이 필요 없는 절차를 제안합니다. 실험 결과는 우리의 간소화된 방법이 여러 데이터세트에서 인기 있는 접근 방식의 성능을 일관되게 초과함을 보여줍니다.