Vous ne regardez qu'une seule séquence : repenser le Transformer en vision à travers la détection d'objets

Le Transformer peut-il effectuer une reconnaissance d'objets et de régions en 2D d'un point de vue purement séquence-à-séquence avec des connaissances minimales sur la structure spatiale 2D ? Pour répondre à cette question, nous présentons You Only Look at One Sequence (YOLOS), une série de modèles de détection d'objets basés sur le Transformer Vision classique avec le moins de modifications possible, des priorités régionales, ainsi que des biais inductifs de la tâche cible. Nous découvrons que YOLOS pré-entraîné sur le jeu de données ImageNet-1k de taille moyenne peut déjà atteindre des performances très compétitives sur le benchmark de détection d'objets COCO, par exemple, le modèle YOLOS-Base, directement adopté de l'architecture BERT-Base, peut obtenir 42.0 box AP sur COCO val. Nous discutons également des impacts et des limitations des schèmes de pré-entraînement actuels et des stratégies de mise à l'échelle des modèles pour le Transformer en vision à travers YOLOS. Le code et les modèles pré-entraînés sont disponibles sur https://github.com/hustvl/YOLOS.