El aprendizaje de diversas habilidades de manipulación para robots en el mundo real se ve severamente limitado por la dependencia de demostraciones teleoperadas costosas y difíciles de escalar. Mientras que los videos de humanos ofrecen una alternativa escalable, la transferencia efectiva del conocimiento de manipulación se ve fundamentalmente obstaculizada por la significativa brecha morfológica entre las encarnaciones humanas y robóticas. Para abordar este desafío y facilitar la transferencia de habilidades de humano a robot, presentamos Traj2Action, un marco novedoso que cierra esta brecha de encarnación utilizando la trayectoria 3D del punto de operación como una representación intermedia unificada, y luego transfiere el conocimiento de manipulación incrustado en esta trayectoria a las acciones del robot. Nuestra política primero aprende a generar una trayectoria burda, que forma un plan de movimiento de alto nivel aprovechando tanto los datos humanos como los robóticos. Este plan condiciona luego la síntesis de acciones precisas y específicas del robot (por ejemplo, estado de orientación y pinza) dentro de un marco de co-desruido. Amplios experimentos en el mundo real sobre un robot Franka demuestran que Traj2Action mejora el rendimiento en hasta un 27% y un 22.25% sobre la línea base π₀ en tareas del mundo real a corto y largo plazo, y logra ganancias significativas a medida que se escala la data humana en el aprendizaje de políticas del robot. Nuestro sitio web del proyecto, que incluye código y demostraciones en video, está disponible en https: //anonymous. 4open. science/w/Traj2Action-4A45/.
Zhou et al. (Mié,) estudiaron esta cuestión.