언어 모델에 대한 개요: 최근 발전과 전망

언어 모델링은 텍스트 문자열에 대한 확률 분포를 연구합니다. 이는 자연어 처리(NLP)에서 가장 기본적인 작업 중 하나입니다. 텍스트 생성, 음성 인식, 기계 번역 등에서 널리 사용되었습니다. 전통적인 언어 모델(CLMs)은 인과적으로 언어적 시퀀스의 확률을 예측하는 것을 목표로 하는 반면, 사전 훈련된 언어 모델(PLMs)은 더 넓은 개념을 포함하고 인과적 시퀀스 모델링과 다운스트림 애플리케이션을 위한 미세 조정에 모두 사용될 수 있습니다. PLMs는 자체 훈련 패러다임(보통 자가 감독)을 가지고 있으며 현대 NLP 시스템에서 기본 모델 역할을 합니다. 이 개요 논문은 언어적 단위, 구조, 훈련 방법, 평가 방법 및 응용 프로그램이라는 다섯 가지 측면에서 CLMs와 PLMs에 대한 소개를 제공합니다. 또한 CLMs와 PLMs 간의 관계를 논의하고 사전 훈련된 시대의 언어 모델링의 미래 방향에 대해 밝혀냅니다.