Interacciones Múltiples Simplificadas (MIME): Datos de Demostraciones a Gran Escala para Imitación

En los últimos años, hemos visto la aparición de enfoques basados en datos en la robótica. Sin embargo, la mayoría de los esfuerzos y conjuntos de datos existentes están en simulación o se centran en una única tarea en aislamiento, como agarrar, empujar o acariciar. Para avanzar y capturar el espacio de manipulación, necesitaríamos recopilar un conjunto de datos a gran escala de tareas diversas como verter, abrir botellas, apilar objetos, etc. Pero, ¿cómo se recopila un conjunto de datos así? En este artículo, presentamos el conjunto de datos de demostraciones robóticas más grande disponible (MIME) que contiene 8260 demostraciones humano-robot en 20 tareas robóticas diferentes (https://sites.google.com/view/mimedataset). Estas tareas varían desde la sencilla tarea de empujar objetos hasta la difícil tarea de apilar objetos del hogar. Nuestro conjunto de datos consiste en videos de demostraciones humanas y trayectorias cinéticas de demostraciones robóticas. También proponemos usar este conjunto de datos para la tarea de mapear características de video en tercera persona a trayectorias robóticas. Además, presentamos dos enfoques diferentes utilizando este conjunto de datos y evaluamos las trayectorias robóticas predichas frente a las trayectorias reales. Esperamos que nuestro conjunto de datos inspire investigaciones en múltiples áreas, incluida la imitación visual, la predicción de trayectorias y el aprendizaje robótico multitarea.