Groupe R-CNN pour la détection d'objets faiblement semi-supervisée avec des points

Nous étudions le problème de la détection d'objets faiblement semi-supervisée avec des points (WSSOD-P), où les données d'entraînement sont combinées par un petit ensemble d'images entièrement annotées avec des boîtes englobantes et un grand ensemble d'images faiblement étiquetées avec uniquement un point annoté pour chaque instance. Le cœur de cette tâche est de former un régressor point-à-boîte sur des images bien étiquetées qui peut être utilisé pour prédire des boîtes englobantes crédibles pour chaque annotation de point. Nous remettons en question la croyance antérieure selon laquelle les détecteurs basés sur des CNN existants ne sont pas compatibles avec cette tâche. Basé sur l'architecture classique R-CNN, nous proposons un régressor point-à-boîte efficace : le Groupe R-CNN. Le Groupe R-CNN utilise d'abord le regroupement de propositions au niveau des instances pour générer un groupe de propositions pour chaque annotation de point et peut ainsi obtenir un taux de rappel élevé. Pour mieux distinguer différentes instances et améliorer la précision, nous proposons une assignation de propositions au niveau des instances pour remplacer la stratégie d'assignation classique adoptée dans les méthodes originales R-CNN. Étant donné que l'assignation naïve au niveau des instances entraîne des difficultés de convergence, nous proposons un apprentissage de représentation conscient des instances qui consiste en une amélioration des caractéristiques conscientes des instances et une génération de paramètres conscients des instances pour surmonter ce problème. Des expériences complètes sur la référence MS-COCO démontrent l'efficacité de notre méthode. En particulier, le Groupe R-CNN surpasse de manière significative la méthode précédente Point DETR de 3.9 mAP avec 5 % d'images bien étiquetées, ce qui représente le scénario le plus difficile. Le code source peut être trouvé sur https://github.com/jshilong/GroupRCNN.