텍스트 생성에서 다음 토큰 예측의 대안 -- 설문 조사

다음 토큰 예측(NTP) 패러다임은 대규모 언어 모델(LLMs)의 전례 없는 성공을 이끌었지만, 또한 긴 계획 부재, 오류 축적, 계산 비효율성과 같은 지속적인 약점의 원인이기도 합니다. NTP의 대안 탐색에 대한 관심이 증가하고 있음을 인정하고, 이 설문조사는 NTP의 대안으로 떠오르는 생태계를 설명합니다. 우리는 이러한 접근 방식들을 다섯 가지 주요 범주로 분류합니다: (1) 다중 토큰 예측, 단일 토큰 대신 미래 토큰 블록을 대상으로 하는 방법; (2) 계획 후 생성, 토큰 수준 디코딩을 안내하기 위해 사전 생성된 글로벌 고급 계획; (3) 잠재적 추론, 자율 회귀 프로세스를 연속 잠재 공간으로 전환; (4) 연속 생성 접근 방식, 순차적 생성을 확산, 흐름 매칭 또는 에너지 기반 방법으로 반복적이고 병렬적으로 다듬는 방법; (5) 비트랜스포머 아키텍처, 본래 모델 구조를 통해 NTP를 우회합니다. 이러한 방법 전반에 걸쳐 통찰을 종합함으로써, 이 설문조사는 토큰 수준 생성을 다루고 알려진 한계를 극복하기 위한 새로운 혁신적 모델 개발을 위한 연구 지침을 제공합니다.