Key points are not available for this paper at this time.
본 논문에서는 시각적 고정을 위한 변환기 기반 접근 방식을 제안합니다. 사전 훈련된 객체 탐지기에 크게 의존하거나 텍스트 임베딩을 융합하여 기존의 오프-더-셸프 일회성 탐지기를 업그레이드하는 제안-순위 프레임워크와 달리, 우리의 접근 방식은 변환기 인코더-디코더 위에 구축되어 있으며 어떠한 사전 훈련된 탐지기나 단어 임베딩 모델에 의존하지 않습니다. 'VGTR – 변환기를 이용한 시각적 고정'이라고 불리는 우리의 접근 방식은 텍스트 설명의 안내 아래 의미-판별적 시각적 특징을 학습하도록 설계되었으며, 이들의 위치 능력을 해치지 않습니다. 이 정보 흐름은 VGTR이 시각 및 언어 양식 모두의 맥락 수준 의미를 포착하는 강력한 능력을 가지게 하여, 설명에 의해 암시된 정확한 시각적 단서를 집계하여 관심 있는 객체 인스턴스를 찾을 수 있도록 합니다. 실험 결과, 우리의 방법이 네 가지 벤치마크에서 최첨단 제안-프리 접근 방식을 상당한 차이로 능가함을 보여줍니다.
Du et al. (Mon,)은 이 질문을 연구했습니다.