REAR: 개방형 질문 응답을 위한 관련성 인식 검색 증강 프레임워크

제한된 내부 매개변수 지식을 고려할 때, 검색 증강 생성(RAG)은 대규모 언어 모델(LLMs)의 지식 범위를 확장하는 데 널리 사용되어 왔습니다. RAG 연구에 대한 광범위한 노력에도 불구하고, 기존 방법에서는 LLM이 검색된 문서의 관련성을 정확하게 평가할 수 없으며, 이로 인해 외부 지식(즉, 검색된 문서)의 오용이나 심지어 잘못된 사용으로 이어질 가능성이 있습니다. 이 문제를 해결하기 위해 본 논문에서는 개방형 질문 응답(QA)을 위한 REAR이라는 관련성 인식 검색 증강 접근 방식을 제안합니다. 우리의 주요 동기는 LLM이 외부 지식의 신뢰성에 대한 자각을 강화하여 RAG 시스템에서 외부 지식을 적응적으로 활용할 수 있도록 하는 것입니다. 특히, 우리는 검색된 문서의 관련성을 정확하게 평가하는 특별히 설계된 평가 모듈을 통합하여 LLM 기반 RAG 시스템을 위한 새로운 아키텍처를 개발합니다. 또한, 대규모 관련성 융합과 노이즈 저항 훈련에 기반한 개선된 훈련 방법을 제안합니다. 아키텍처와 훈련 모두에서의 개선을 결합하여, 우리의 제안된 REAR은 검색된 문서의 관련성을 효과적으로 인식하여 외부 지식을 더 잘 활용할 수 있습니다. 네 가지 개방형 QA 작업에 대한 실험 결과 REAR이 이전의 여러 경쟁 RAG 접근 방식보다 현저하게 성능이 우수함을 보여줍니다. 우리 코드는 https://github.com/RUCAIBox/REAR에서 접근할 수 있습니다.