Lenguaje para Recompensas en la Síntesis de Habilidades Robóticas

Los modelos de lenguaje grande (LLMs) han mostrado un progreso emocionante en la adquisición de diversas nuevas capacidades a través del aprendizaje en contexto, que van desde el razonamiento lógico hasta la escritura de código. Los investigadores en robótica también han explorado el uso de LLMs para avanzar en las capacidades del control robótico. Sin embargo, dado que las acciones robóticas de bajo nivel dependen del hardware y están subrepresentadas en los corpora de entrenamiento de LLM, los esfuerzos existentes en la aplicación de LLM a la robótica han tratado en gran medida a los LLM como planificadores semánticos o se han basado en primitivos de control diseñados por humanos para interactuar con el robot. Por otro lado, las funciones de recompensa se muestran como representaciones flexibles que pueden ser optimizadas para políticas de control para lograr diversas tareas, mientras que su riqueza semántica las hace adecuadas para ser especificadas por LLM. En este trabajo, introducimos un nuevo paradigma que aprovecha esta realización utilizando LLM para definir parámetros de recompensa que pueden ser optimizados y lograr una variedad de tareas robóticas. Usando la recompensa como la interfaz intermedia generada por LLM, podemos cerrar efectivamente la brecha entre instrucciones en lenguaje de alto nivel o correcciones a acciones robóticas de bajo nivel. Mientras tanto, combinar esto con un optimizador en tiempo real, MuJoCo MPC, potencia una experiencia de creación de comportamiento interactiva donde los usuarios pueden observar de inmediato los resultados y proporcionar retroalimentación al sistema. Para evaluar sistemáticamente el rendimiento de nuestro método propuesto, diseñamos un total de 17 tareas para un robot cuadrúpedo simulado y un robot manipulador diestro. Demostramos que nuestro método propuesto aborda de manera confiable el 90% de las tareas diseñadas, mientras que una línea base que utiliza habilidades primitivas como la interfaz con Code-as-policies logra el 50% de las tareas. Además, validamos nuestro método en un brazo robótico real donde habilidades de manipulación complejas, como el empuje no prehensil, emergen a través de nuestro sistema interactivo.