시암식 합성곱 신경망을 통한 스케치 기반 이미지 검색

스케치 기반 이미지 검색(SBIR)은 사진과 비교할 때 스케치에 내재된 모호성으로 인해 도전적인 작업입니다. 본 논문에서는 SBIR을 위해 시암식 네트워크 기반의 새로운 합성곱 신경망을 제안합니다. 주요 아이디어는 비슷하다고 레이블이 지정된 입력 스케치-이미지 쌍에 대해 출력 피처 벡터를 더 가깝게 끌어당기고, 관련이 없을 경우에는 멀리 밀어내는 것입니다. 이는 하나의 손실 함수를 통해 연결된 두 개의 합성곱 신경망을 공동으로 조정하여 달성됩니다. Flickr15K에 대한 실험 결과는 제안된 방법이 여러 최첨단 접근 방식과 비교하여 더 나은 성능을 제공함을 보여줍니다.