스와힐리 단일어 토크나이저가 다운스트림 작업에 미치는 영향

변압기 7의 도입은 Bidirectional Encoder Representations from Transformers (BERT)와 같은 대규모 언어 모델(LLM)의 개발로 이어졌습니다. 그러나 스와힐리와 같은 저자원 언어(LRL)에서 LLM의 다운스트림 성능은 데이터셋 크기가 작기 때문에 종종 저조합니다.