BGE 랜드마크 임베딩: 청크 없이 임베딩하여 검색을 위한 방법 증강된 긴 맥락의 대형 언어 모델

대형 언어 모델(LLMs)은 많은 중요한 응용 프로그램을 처리하기 위해 맥락의 확장을 요구합니다. 그러나 기존 접근 방식은 비싼 비용과 열악한 맥락 확장 품질에 취약합니다. 본 연구에서는 LLM의 맥락을 높은 품질로 강한 유연성과 비용 효율성을 가지고 확장하는 Extensible Embedding을 제안합니다. Extensible embedding은 단일 토큰 대신 확장 가능한 맥락 범위를 위한 정보를 표현하는 전형적인 토큰 임베딩의 향상으로 작용합니다. 이러한 높은 정보 밀도의 압축 입력 단위를 활용함으로써 LLM은 작은 맥락 창으로도 방대한 맥락 범위에 접근할 수 있습니다. Extensible embedding은 구조 및 훈련 방법에서 체계적으로 최적화되어 여러 가지 장점을 제공합니다. 1) 높은 유연성의 맥락 확장, 다양한 맥락 길이의 즉흥 확장을 유연하게 지원합니다. 2) 훈련의 강한 샘플 효율성으로, 임베딩 모델을 비용 효율적인 방식으로 학습할 수 있게 합니다. 3) 기존 LLM과의 우수한 호환성으로, extensible embedding은 플러그인 구성 요소로 원활하게 도입될 수 있습니다. 긴 맥락 언어 모델링 및 이해 작업에 대한 포괄적인 평가를 통해 extensible embedding이 LLM의 맥락을 확장하는 효과적이고 효율적이며 유연하고 호환 가능한 방법임을 검증합니다.