근거리 검색을 위한 로컬 딥 러닝 양자화

제품 양자화(PQ)는 근사 이웃 검색(ANNS)을 위한 고차원 벡터를 집약적으로 인코딩하는 효과적인 벡터 양자화 접근법입니다. PQ 기반 ANNS 방법들은 놀라운 시간 및 공간 효율성을 달성하지만, 그들의 검색 정확도는 떨어집니다. 주요 원인은 검색 단계에서 유사성 계산에 사용되는 벡터의 과도한 양자화 오류입니다. 우리는 이러한 계산된 벡터의 집합을 로컬 범위 집합이라고 지칭합니다. 로컬 범위 집합의 벡터가 최적으로 정렬되면 검색 정확도가 크게 향상될 것이라는 점을 관찰합니다. 이 관찰을 바탕으로 우리는 로컬 딥 러닝 양자화(LDLQ) 프레임워크를 제안합니다. 이 프레임워크는 코드워드를 로컬 범위 집합 내의 가짜 벡터에 매핑하고 가짜 벡터를 순위 매기기 위해 활용합니다. 실험 결과는 LDLQ 프레임워크가 기존의 PQ 기반 ANNS 방법의 정확도를 크게 향상시키면서도 낮은 계산 및 공간 오버헤드를 유지함을 보여줍니다. 특히, 우리의 방법은 성능 향상을 위해 기존 PQ 기반 접근법에 통합될 수 있어 다재다능하고 광범위하게 배포 가능합니다.