지식이 대형 언어 모델에서 혼합된 환각을 유발하는 원인

환각은 보통 대형 언어 모델(LLMs)을 사용하는 데 있어 주요 장애물로 간주됩니다, 특히 지식 집약적인 작업에서 더 그렇습니다. 훈련 데이터가 오로지 사실만으로 구성되더라도, 언어 모델은 여전히 여러 사실을 혼합한 형태로 환각을 생성합니다. 우리는 이 현상을 '지식 가리기'라고 명명합니다: 여러 조건으로 언어 모델에 지식을 질의할 때, 일부 조건이 다른 조건을 가리게 되어 환각된 출력을 초래합니다. 이 현상은 훈련 데이터 불균형에서 부분적으로 기인하며, 우리는 이것이 사전 훈련된 모델과 세밀 조정된 모델 모두에서, 다양한 LM 모델 계열과 크기에 걸쳐 확인되었음을 보여줍니다. 이론적으로, 지식 가리기는 지배적인 조건(패턴)의 과도한 일반화로 해석될 수 있습니다. 우리는 환각 비율이 인기 있는 조건과 인기 없는 조건 간의 불균형 비율 및 지배적인 조건 설명의 길이에 따라 증가함을 보여주며, 이는 우리의 파생된 일반화 경계와 일치합니다. 마지막으로, 우리는 환각 생성 전에 환각을 포착하기 위한 신호로 가리기 조건을 이용하고, 추론 중 환각을 완화하기 위해 훈련이 필요 없는 자기 대조 디코딩 방법을 제안합니다. 우리 제안 방법은 환각 예측에 대해 최대 82% F1과 11.2%에서 39.4% 환각 제어 성능을 보여줍니다, 다양한 모델과 데이터셋에서.