Key points are not available for this paper at this time.
Ce travail contribue à un système de perception visuo-tactile déclenché par des événements, comprenant un nouveau capteur tactile inspiré biologiquement et un apprentissage multimodal basé sur des pics. Notre capteur tactile neuromorphique en forme de doigt, NeuTouch, s'adapte bien au nombre de taxels grâce à sa nature basée sur les événements. De même, notre réseau de neurones à pics visuo-tactile (VT-SNN) permet une perception rapide lorsqu'il est couplé avec des capteurs d'événements. Nous évaluons notre système visuo-tactile (utilisant le NeuTouch et la caméra événementielle Prophesee) sur deux tâches de robot : classification de conteneurs et détection de glissement rotatif. Pour les deux tâches, nous observons de bonnes précisions par rapport aux méthodes d'apprentissage profond standard. Nous avons rendu nos ensembles de données visuo-tactiles disponibles gratuitement pour encourager la recherche sur la perception robotique multimodale déclenchée par des événements, ce que nous croyons être une approche prometteuse pour des systèmes robotiques intelligents et économes en énergie.
Taunyazov et al. (Mar) ont étudié cette question.