대형 언어 모델의 알려진 사실에 대한 환각 현상에 관하여

대형 언어 모델은 사실성 질문에 성공적으로 답변하지만 환각 현상에도 취약합니다. 우리는 환각 관련 연구에서 이전에 다뤄지지 않은 추론 역학 관점에서 올바른 답변 지식을 보유하고도 환각을 경험하는 LLM 현상을 조사합니다. 이 분석은 두 가지 핵심 아이디어를 통해 가능해졌습니다. 첫째, 동일한 삼중 지식을 질의하되 다른 답변을 도출하는 사실 질문을 식별합니다. 정확한 출력과 잘못된 출력에서 모델의 행동 차이는 환각이 발생하는 패턴을 시사합니다. 둘째, 이 패턴을 측정하기 위해 잔차 스트림에서 어휘 공간으로의 매핑을 활용합니다. 우리는 올바른 경우와 환각된 경우 사이에서 출력 토큰 확률의 층 깊이에 따른 역학 차이를 밝혀냅니다. 환각된 경우 출력 토큰 정보는 모델 후반부에서 급격한 증가나 일관된 우위를 거의 나타내지 않습니다. 동적 곡선을 특징으로 활용하여 88%의 성공률로 환각 예측을 정확히 감지할 수 있는 분류기를 구축했습니다. 본 연구는 LLM이 알고 있는 사실에 대한 환각 원인을 이해하고, 더 나아가 언제 환각하는지를 정확히 예측하는 데에 도움을 줍니다.