답이 없는 수학 단어 문제에 기반한 대형 언어 모델의 환각 벤치마킹

대형 언어 모델(LLMs)은 다양한 자연어 처리(NLP) 작업에서 매우 효과적입니다. 그러나 이들은 환각이라고 불리는 모호한 상황에서 신뢰할 수 없는 추측을 생성하는 데 취약합니다. 본 논문에서는 답이 없는 수학 단어 문제(MWP)에 기반한 질문 응답(QA)에서 LLM의 환각을 평가하는 새로운 방법을 제시합니다. 이 접근 방식을 지원하기 위해, 우리는 5200개의 질문을 포함하는 '답이 없는 수학 단어 문제(Unanswerable Math Word Problem, UMWP)'라는 혁신적인 데이터셋을 개발했습니다. 우리는 텍스트 유사성과 수학적 표현 감지를 결합한 평가 방법론을 개발하여 LLM이 질문을 답할 수 없는 것으로 간주하는지를 파악했습니다. GPT-3, InstructGPT, LLaMA 및 Claude를 포함한 31개의 LLM을 대상으로 수행한 폭넓은 실험 결과, 인컨텍스트 학습과 인간 피드백을 기반으로 한 강화 학습(RLHF) 훈련이 모델이 환각을 피하는 능력을 크게 향상시킴을 보여줍니다. MWP를 활용하는 것이 환각을 평가하는 신뢰할 수 있고 효과적인 접근 방식임을 보여줍니다. 우리의 코드와 데이터는 https://github.com/Yuki-Asuuna/UMWP에서 확인할 수 있습니다.