Reconnaissance de formes et estimation de pose pour la réalité augmentée mobile

Nestor est un système de reconnaissance en temps réel et d'estimation de pose de caméra pour des formes planes. Le système permet d'utiliser des formes qui portent des significations contextuelles pour les humains comme cibles de suivi en réalité augmentée (RA). L'utilisateur peut enseigner de nouvelles formes au système en temps réel. De nouvelles formes peuvent être présentées au système de front, ou elles peuvent être automatiquement rectifiées selon des formes apprises précédemment. Les formes peuvent se voir attribuer automatiquement un contenu virtuel par classification selon une bibliothèque de classes de formes. Nestor effectue la reconnaissance de forme en analysant les structures de contour et en générant des signatures invariantes par projection à partir de leurs concavités. Les concavités sont ensuite utilisées pour extraire des caractéristiques pour l'estimation de pose et le suivi. Le raffinement de pose est réalisé en minimisant l'erreur de reprojection entre les points d'échantillon sur chaque contour d'image et son homologue de bibliothèque. Les points d'échantillon sont appariés en faisant évoluer un contour actif en temps réel. Nos expériences montrent que le système fournit un enregistrement stable et précis, et fonctionne à des taux d'images interactifs sur un téléphone mobile Nokia N95.