서브워드 토큰화 재조명: 대형 언어 모델에서 접미사 부정에 대한 사례 연구

본 연구에서는 현대 영어 대형 언어 모델(LLMs)에서 접미사 부정의 영향을 측정합니다. 접미사 부정에서는 부정적인 의미가 부정 접사의 형태소를 통해 표현되며, 이는 LLMs에게 도전적일 수 있습니다. 왜냐하면 이들의 토크나이저는 종종 형태론적으로 타당하지 않기 때문입니다. 우리는 다양한 서브워드 토큰화 방법을 사용한 LLM을 통해 광범위한 실험을 수행하여, 토큰화 성능과 부정 감도 간의 상호작용에 대한 몇 가지 통찰을 얻었습니다. 토큰화 정확성과 부정 탐지 성과 간의 흥미로운 불일치에도 불구하고, 모델들이 전반적으로 접미사 부정의 의미를 신뢰성 있게 인식할 수 있음을 보여줍니다.