xRAG: 한 토큰을 통한 검색 보강 생성을 위한 극단적인 맥락 압축

이 논문은 검색 보강 생성을 위한 혁신적인 맥락 압축 방법인 xRAG를 소개합니다. xRAG는 문서 임베딩을 밀집 검색에서 검색 방식의 특징으로 재해석합니다. 모드 융합 방법론을 사용하여 xRAG는 이러한 임베딩을 언어 모델 표현 공간에 원활하게 통합하여 텍스트 형태의 대응이 필요 없도록 하고 극단적인 압축 비율을 달성합니다. xRAG에서 학습 가능한 유일한 구성 요소는 모드 브리지이며, 검색기와 언어 모델은 모두 고정되어 있습니다. 이 디자인 선택은 오프라인에서 구축된 문서 임베딩의 재사용을 가능하게 하며 검색 보강의 플러그 앤 플레이 특성을 유지합니다. 실험 결과는 xRAG가 6개의 지식 집약적 작업에서 평균 10% 이상의 개선을 달성했음을 보여주며, 7B 모델에서 8x7B 전문가 혼합 구성에 이르기까지 다양한 언어 모델 백본에 적응 가능합니다. xRAG는 이전 맥락 압축 방법을 크게 초월할 뿐만 아니라 여러 데이터세트에서 비압축 모델의 성능과 일치하며, 전체 FLOPs를 3.53배 줄입니다. 우리의 연구는 다중 모달리티 융합 관점에서 검색 보강 생성의 새로운 방향을 개척하며, 향후 효율적이고 확장 가능한 검색 보강 시스템의 기초가 되기를 희망합니다.