다각적 일관성이 대형 언어 모델의 신뢰도 추정을 향상시킨다.

대형 언어 모델(LLM)을 배포할 때, 정확한 신뢰도 추정은 모델 예측의 신뢰성을 평가하는 데 중요하다. 그러나 기존 방법들은 종종 잘못된 답변에 대한 과신 문제를 극복하지 못한다. 본 연구에서는 대형 언어 모델의 신뢰도 추정을 개선하는 데 초점을 맞춘다. 언어 모델의 자기 인식의 취약성을 고려하여, 우리는 다각적 일관성(MPC) 방법을 도입한다. MPC-내부(모델 내의 다른 관점에서의 보완적 통찰력)와 MPC-간접(다른 모델 간의 보완적 통찰력)을 활용하여 단일 관점에서 발생하는 과신 문제를 완화한다. 공개된 8개의 데이터 세트에 대한 실험 결과, 우리의 MPC가 최첨단 성능을 달성함을 보여준다. 추가 분석 결과, MPC는 과신 문제를 완화할 수 있으며 다른 모델에 효과적으로 확장 가능함을 나타난다.