Un ensemble de données de détection des échecs de transmission multimodale et des références

Une transmission d'objet entre un robot et un humain est une action coordonnée sujette à des échecs pour des raisons telles que la mauvaise communication, des actions incorrectes et des propriétés d'objet inattendues. Les travaux existants sur la détection et la prévention des échecs de transmission se concentrent sur la prévention des échecs dus au glissement d'objet ou à des perturbations externes. Cependant, il manque des ensembles de données et des méthodes d'évaluation qui tiennent compte des échecs inévitables causés par le participant humain. Pour remédier à ce déficit, nous présentons l'ensemble de données de détection des échecs de transmission multimodale, qui se compose d'échecs induits par le participant humain, tels que l'ignorance du robot ou le non-relâchement de l'objet. Nous présentons également deux méthodes de référence pour la détection des échecs de transmission : (i) une méthode de classification vidéo utilisant des CNN 3D et (ii) une approche de segmentation d'action temporelle qui classe conjointement l'action humaine, l'action du robot et le résultat global de l'action. Les résultats montrent que la vidéo est une modalité importante, mais que l'utilisation des données de force-torque et de la position du préhenseur aide à améliorer la détection des échecs et l'exactitude de la segmentation des actions.