단계 전개 디노이징 오토인코더를 이용한 텍스트 생성

본 논문에서는 자가 회귀 모델에 의존하지 않는 새로운 텍스트 생성 모델인 단계 전개 디노이징 오토인코더(SUNDAE)를 제안합니다. 디노이징 확산 기법과 유사하게, SUNDAE는 무작위 입력에서 시작하여 각 반복마다 개선하며 수열의 토큰에 반복적으로 적용됩니다. 우리는 확산 방법보다 적은 반복으로 수렴하는 간단한 새로운 개선 연산자를 제시하며, 자연어 데이터 세트에서 질적으로 더 나은 샘플을 생성합니다. SUNDAE는 WMT'14 영어-독일어 번역 작업에서 비자가 회귀 방법 중 최첨단 결과를 달성하고, Colossal Cleaned Common Crawl 데이터 세트와 GitHub의 Python 코드 데이터 세트에서 무조건적인 언어 모델링에 대해 좋은 질적 결과를 보여줍니다. SUNDAE의 비자가 회귀적 특성은 템플릿에서 임의의 빈 패턴을 채우면서 좌측에서 우측으로의 프롬프트 생성 이상의 가능성을 열어줍니다.