Apprentissage de la segmentation d'objets vidéo à partir d'images statiques

Inspirés par les récentes avancées de l'apprentissage profond en segmentation d'instances et en suivi d'objets, nous introduisons le concept de guidage basé sur des réseaux de neurones convolutionnels appliqué à la segmentation d'objets vidéo. Notre modèle fonctionne sur une base par image, guidé par la sortie de l'image précédente vers l'objet d'intérêt dans l'image suivante. Nous démontrons que la segmentation d'objets hautement précise dans les vidéos peut être rendue possible en utilisant un réseau de neurones convolutionnel entraîné uniquement avec des images statiques. Le composant clé de notre approche est une combinaison de stratégies d'apprentissage hors ligne et en ligne, où la première produit un masque affiné à partir de l'estimation de l'image précédente et la seconde permet de capturer l'apparence de l'instance d'objet spécifique. Notre méthode peut gérer différents types d'annotations d'entrée telles que des boîtes englobantes et des segments tout en tirant parti d'un nombre arbitraire d'images annotées. Par conséquent, notre système est adapté à diverses applications avec des exigences différentes en termes de précision et d'efficacité. Dans notre évaluation approfondie, nous obtenons des résultats compétitifs sur trois ensembles de données différents, indépendamment du type d'annotation d'entrée.