Answers are grounded in this paper and cite their sources.
Demonstrates improved performance in dense retrieval models, suggesting enhanced stability in representation learning.
밀집 검색기(Dense Retrieval) 학습은 자연어 잠재 노이즈, 약한 음성 샘플링 등 불완전한 감독 신호로 인해 문서 표현이 불안정해지고, 일반화 성능이 저하되는 한계가 있다. 이에 본 연구에서는 주파수 기반 표현 일관성 손실을 제안한다. 구체적으로, 문서 임베딩을 시퀀스 축의 1차원 신호로 해석한 뒤, 주파수 도메인으로 변환하고, 고주파 대역만 제거(high-cut)하여 생성한 합성 표현으로 문서 표현을 증강한다. 원본 및 합성 뷰의 토큰 표현을 제곱 L2 거리로 정렬하는 주파수 기반 표현 일관성 손실을 기존 대조 손실에 가중합해 학습한다. DPR, ColBERT 모델에서 모두 학습 분포 내 실험 성능이 향상되어, 제안 손실이 원 대조 손실을 저해하지 않으면서 표현 공간을 안정화함을 확인하였고, BEIR 데이터셋으로 학습 분포 외 실험을 통해 제안 손실이 학습 과정에서 표현 수준 변동에 덜 민감한 표현을 형성하도록 유도함으로써 도메인 이동에 대한 강건성을 높일 수 있음을 시사한다.
No takes yet. Share an insight, caveat, or question.
Kim et al. (2026) studied this question.
Synapse has enriched 10 related papers. Consider them for comparative context: