임베딩 모델 전반에 걸친 벡터 데이터베이스 통합

벡터 데이터베이스는 비구조적 객체(예: 문서 및 이미지)에 대한 유사성 검색을 구현하기 위해 널리 사용되고 있습니다. 각 벡터 데이터베이스는 객체를 인코딩하여 유사한 객체가 더 가까운 벡터에 임베딩되도록 하는 임베딩 모델에 의해 생성됩니다. 이를 통해 우리는 top-k 벡터 검색을 top-k 객체 유사성 검색의 구현으로 사용할 수 있습니다. 서로 다른 벡터 데이터베이스가 고유한 임베딩 모델을 사용하는 것이 일반적이며, 동일한 객체가 데이터베이스에 따라 서로 다른 임베딩 벡터로 인코딩될 수 있습니다. 결과적으로 유사성 검색을 데이터세트 간에 확장하기 위해 벡터 데이터베이스를 공유하고 통합하는 것이 불가능하며, 이는 관계형 데이터베이스에서 당연히 여기는 특성입니다. 본 연구에서는 서로 다른 임베딩 모델에 의해 생성된 벡터 데이터베이스를 통합하는 접근 방식을 개발하여 서로 다른 벡터 데이터베이스 간의 장벽을 허물고자 합니다. 여기서 인코딩된 데이터 객체에 대한 접근이나 임베딩 모델에 대한 지식은 필요하지 않습니다. 우리의 접근 방식은 실제 임베딩 벡터에 대한 광범위한 실험을 통해 발견된 국소 등거리 가설에 뿌리를 두고 있으며, 통합된 벡터 데이터베이스의 품질을 제한하는 이론적 분석에 의해 뒷받침됩니다. 실험 결과는 NV-embed-V2, OpenAI Ada, GloVe, Mistral 및 FastText와 같은 다양한 인기 있는 임베딩 모델에 의해 생성된 벡터 데이터베이스를 통합할 수 있으며, 통합된 데이터 세트에 대한 top-k 유사성 검색에서 높은 재현율을 제공함을 보여줍니다.