Apprentissage d'une représentation dense multi-vues pour la détection, la classification des points de vue et la synthèse des catégories d'objets

Reconnaître les classes d'objets et leurs points de vue 3D est un problème important en vision par ordinateur. Sur la base d'une représentation probabiliste basée sur des parties, nous proposons un nouveau modèle de classe d'objet 3D capable de reconnaître des vues non vues par estimation de pose et synthèse. Nous y parvenons en utilisant une représentation dense et multivues de la sphère de vision paramétrée par un maillage triangulaire de points de vue. Chaque triangle de points de vue peut être morphé pour synthétiser de nouveaux points de vue. En intégrant des contraintes géométriques 3D, notre modèle établit des correspondances explicites entre les parties d'objet à travers les points de vue. Nous proposons un algorithme d'apprentissage incrémental pour entraîner le modèle génératif. Un clip vidéo d'un objet est d'abord utilisé pour initialiser l'apprentissage du modèle. Puis le modèle est mis à jour par un ensemble d'images d'entraînement non triées sans étiquettes de point de vue. Nous démontrons la robustesse de notre modèle sur des tâches de détection d'objets, de classification de points de vue et de synthèse. Notre modèle surpasse et est au même niveau que les algorithmes de pointe sur les ensembles de données de Savarese et al. 2007 et PASCAL en détection d'objets. Il surpasse tous les travaux précédents en classification de points de vue et offre des résultats prometteurs en synthèse de points de vue.