ViTac : Partage des caractéristiques entre la vision et la perception tactile pour la reconnaissance de la texture des tissus

La vision et le toucher sont deux des modalités sensorielles importantes pour les humains et elles offrent des informations complémentaires pour percevoir l'environnement. Les robots pourraient également bénéficier de cette capacité de perception multi-modale. Dans cet article, abordant pour la première fois (à notre connaissance) la reconnaissance de texture à partir d'images tactiles et de vision, nous proposons une nouvelle méthode de fusion appelée Deep Maximum Covariance Analysis (DMCA) pour apprendre un espace latent commun afin de partager des caractéristiques à travers la vision et la perception tactile. Les caractéristiques des images de la caméra et des données tactiles acquises à partir d'un capteur GelSight sont apprises par des réseaux de neurones profonds. Cependant, les caractéristiques apprises ont une dimensionnalité élevée et sont redondantes en raison des différences entre les deux modalités sensorielles, ce qui détériore les performances de perception. Pour y remédier, les caractéristiques apprises sont associées à l'aide d'une analyse de covariance maximale. Les résultats de l'algorithme sur un nouvel ensemble de données récemment collecté d'images visuelles et tactiles appariées relatives aux textures des tissus montrent qu'une bonne performance de reconnaissance de plus de 90 % peut être atteinte en utilisant le cadre proposé de DMCA. De plus, nous constatons que les performances de perception de la vision ou de la perception tactile peuvent être améliorées en employant l'espace de représentation partagé, par rapport à l'apprentissage à partir de données unimodales.