잠재 공동 표현을 통한 교차 모달 학습 순위 매기기

교차 모달 순위 매기기는 다중 모달 데이터와 관련된 많은 응용 프로그램에 필수적인 연구 주제입니다. 다중 모달 데이터에 대한 공동 표현을 발견하고 순위 매기기 함수를 학습하는 것은 교차 미디어 검색(즉, 이미지-쿼리-텍스트 또는 텍스트-쿼리-이미지)을 향상시키기 위해 필수적입니다. 본 논문에서는 조건부 랜덤 필드와 구조적 학습을 통해 이미지 쿼리와 텍스트 문서의 쌍과 같은 다중 모달 데이터 쌍의 잠재 공동 표현을 발견하는 접근 방식을 제안합니다. 이 접근 방식을 잠재 공동 표현을 통한 교차 모달 순위 학습(CML²R)이라고 부릅니다. CML²R에서는 다중 모달 데이터 간의 상관관계가 공유되는 숨겨진 변수를 기준으로 포착되며(예: 주제), 숨겨진 주제 기반의 구별적 순위 함수가 리스트 형태의 순위 매기기 방식으로 학습됩니다. 실험 결과 제안된 접근 방식이 교차 미디어 검색에서 우수한 성능을 달성하고 동시에 다중 모달 데이터의 구별적 표현을 학습할 수 있는 능력을 가지고 있음을 보여줍니다.