Multi-FAct: 다국어 LLM의 다지역 지식을 FActScore를 사용하여 평가하기

대규모 언어 모델(LLM)은 사실 환각에 취약하여 기존 지식과 모순되는 텍스트를 생성합니다. 영어에서 이 문제를 다룬 광범위한 연구가 있지만, 다국어 LLM에 대한 정보는 거의 없습니다. 이 논문은 다국어 LLM의 사실 정확성을 언어와 지리적 지역에 따라 체계적으로 평가합니다. 우리는 다양한 언어에 대해 FActScore(Min et al., 2023)를 조정하여 다국어 사실 평가를 위한 새로운 파이프라인을 소개합니다. 아홉 개 언어를 대상으로 한 분석 결과, 영어는 사실 정확성과 생성된 사실의 양에서 지속적으로 다른 언어보다 우수한 것으로 나타났습니다. 또한, 다국어 모델은 서양 대륙의 사실 정보에 대한 편향을 보입니다. 이러한 결과는 향상된 다국어 사실성 평가의 필요성을 강조하고, LLM의 사실 생성에서 지리적 편향을 부각시킵니다.