벡터 유사성 검색은 특히 엣지 장치에서 Retrieval-Augmented Generation(RAG) 파이프라인의 중요한 자원 집약적인 구성 요소입니다. 우리는 x86의 AVX2와 ARM의 NEON SIMD 명령어를 사용하여 고도로 최적화된 2단계 평면 스캔 원시 기능으로 이 문제를 해결합니다. 첫 번째 단계에서는 대역폭 효율적인 이진 스케치를 사용하여 후보를 프리필터링하고, 두 번째 단계에서는 정확한 SIMD 가속 리스코어링을 적용하여 최종 순위를 다듬습니다. 우리는 이 원시 기능을 여러 양자화 및 차원 축소 기술과 비교 평가하며 지연 시간, 정확도, 메모리 및 에너지의 트레이드오프를 분석합니다. 120만 벡터 데이터 세트를 가진 PC에서 우리의 방법은 비-SIMD float32 기준에 비해 120배 이상의 속도 향상을 달성하면서 NDCG@100 점수를 0.99로 유지합니다. 60,000 벡터 하위 집합을 가진 Raspberry Pi 3에서는 동일한 방법이 쿼리 지연 시간을 39배 ∼ 59배 줄이고, 같은 기준에 대해 에너지 소비를 41배 줄이면서 NDCG@100 점수를 0.98로 달성합니다. 우리의 결과는 효과적인 평면 스캔 최적화가 제한된 메모리 대역폭과 제한된 계산 자원에도 불구하고 상당한 성능 및 에너지 효율 향상을 제공할 수 있음을 보여줍니다.
Simon et al. (2026)이 이 질문을 연구했습니다.