대조적 주장을 합성한 검색 증강 사실 검증

잘못된 정보의 빠른 확산은 공공 이익에 상당한 위험을 초래합니다. 잘못된 정보에 맞서기 위해 대형 언어 모델 (LLM)은 자동으로 주장 신뢰성을 검증하도록 조정됩니다. 그럼에도 불구하고 기존 방법은 LLM 내에 내장된 지식과 / 또는 증거 수집을 위한 블랙박스 API에 크게 의존하여, 성능이 낮은 LLM이나 신뢰할 수 없는 맥락에서는 저조한 성과를 보입니다. 본 논문에서는 대조적 주장의 합성을 통한 검색 증강 사실 검증(RAFTS)을 제안합니다. 입력된 주장을 기반으로 RAFTS는 증거 검색으로 시작하며, 검증 가능한 출처에서 관련 문서를 수집하고 재정렬하는 검색 파이프라인을 설계합니다. 그리고 RAFTS는 검색된 증거에 조건화된 대조적 주장(즉, 지지 또는 반박)을 형성합니다. 또한 RAFTS는 정보 제공 시연을 식별하기 위해 임베딩 모델을 활용하며, 예측과 설명 생성을 위한 맥락 기반 프롬프트를 이어갑니다. 우리의 방법은 관련 문서를 효과적으로 증거로 검색하고 다양한 관점에서 주장을 평가하며, 세밀한 의사 결정을 위한 미묘한 정보를 통합합니다. 유익한 맥락 기반 예제와 함께 RAFTS는 복잡한 프롬프트 없이 감독 학습 및 LLM 기준에 대해 상당한 개선을 달성합니다. 우리는 광범위한 실험을 통해 우리의 방법의 효과를 입증하며, RAFTS는 훨씬 더 작은 7B LLM으로도 GPT 기반 방법을 초월할 수 있음을 보여줍니다.