비공식 언어 처리로 나아가기: 대형 언어 모델에서의 속어 지식

대형 언어 모델(LLMs)의 최근 발전은 자연어 시스템이 비공식 언어를 처리할 수 있는 강력한 잠재력을 제공했습니다. 비공식 언어의 대표적인 형태는 일상 대화와 온라인 소셜 미디어에서 일반적으로 사용되는 속어입니다. 현재까지 속어는 신중하게 설계된 공개 가능한 기준의 부재로 인해 LLMs에서 포괄적으로 평가되지 않았습니다. 영화 자막을 사용하여 우리는 속어의 자동 처리와 관련된 다양한 작업에 대한 평가를 지원하는 데이터세트를 구축합니다. 평가와 미세 조정 모두에 대해 우리는 우리의 데이터세트가 두 가지 핵심 응용 프로그램에서 효과적임을 보여줍니다: 1) 속어 탐지, 2) 자연 문장에서의 속어의 지역적 및 역사적 출처 식별. 또한 우리의 데이터세트를 사용하여 LLMs의 출력 분포를 탐색하여 해석적 통찰력을 얻는 방법을 보여줍니다. 우리는 GPT-4와 같은 LLMs가 제로샷 환경에서 좋은 성능을 달성하는 반면, 우리 데이터세트로 미세 조정된 더 작은 BERT 유사 모델이 유사한 성능을 달성한다는 것을 발견했습니다. 더욱이, 우리의 데이터세트는 GPT-3.5와 같은 LLMs의 미세 조정을 가능하게 하여 강력한 제로샷 기준보다 상당히 더 나은 성능을 달성합니다. 우리의 연구는 OpenSubtitles 코퍼스를 기반으로 하는 영어 속어에 대한 포괄적인 평가와 높은 품질의 기준을 제공하며, 공개적으로 접근 가능한 자원으로서 그리고 비공식 언어 처리 도구를 적용하기 위한 플랫폼으로 기능합니다.