텍스트 생성을 위한 사전 훈련된 언어 모델: 조사

텍스트 생성은 입력 데이터로부터 인간 언어로 그럴듯하고 읽기 쉬운 텍스트를 생성하는 것을 목표로 합니다. 딥러닝의 재부상은 특히 사전 훈련된 언어 모델(PLMs)을 기반으로 한 신경 생성 모델 덕분에 이 분야를 크게 발전시켰습니다. PLMs를 기반으로 한 텍스트 생성은 학계와 산업 모두에서 유망한 접근 방식으로 여겨집니다. 본 논문에서는 텍스트 생성에서 PLMs의 활용에 대한 조사를 제공합니다. 우리는 PLMs를 텍스트 생성에 적용하는 세 가지 핵심 측면을 소개하는 것부터 시작합니다: 1) 입력을 PLMs에 융합될 수 있는 입력 의미를 보존하는 표현으로 인코딩하는 방법; 2) 생성 모델로서 효과적인 PLM을 설계하는 방법; 3) 참조 텍스트를 고려하여 PLMs를 효과적으로 최적화하고 생성된 텍스트가 특별한 텍스트 속성을 만족하도록 보장하는 방법. 그 후, 이러한 측면에서 발생하는 주요 도전 과제와 그에 대한 가능한 해결책을 보여줍니다. 또한 PLMs를 기반으로 한 다양한 유용한 리소스와 일반적인 텍스트 생성 애플리케이션에 대한 요약을 포함합니다. 마지막으로, 텍스트 생성을 위한 이러한 PLMs를 더욱 개선할 미래 연구 방향을 강조합니다. 이 포괄적인 조사는 텍스트 생성 문제에 관심 있는 연구자들이 PLMs를 기반으로 한 이 분야의 핵심 개념, 주요 기술 및 최신 발전을 배우는 데 도움이 되도록 설계되었습니다.