Modelos de Lenguaje Grande para Orquestar Robots Bimanuales

Aunque ha habido un progreso rápido en dotar a los robots de la capacidad para resolver tareas de manipulación complejas, generar políticas de control para robots bimanuales que resuelvan tareas que involucren dos manos sigue siendo un desafío debido a las dificultades en la coordinación temporal y espacial efectiva. Con habilidades emergentes en términos de razonamiento paso a paso y aprendizaje en contexto, los Modelos de Lenguaje Grande (LLMs) han tomado el control de una variedad de tareas robóticas. Sin embargo, la naturaleza de la comunicación lingüística a través de una única secuencia de símbolos discretos hace que la coordinación basada en LLM en un espacio continuo sea un desafío particular para las tareas bimanuales. Para abordar este desafío por primera vez con un LLM, presentamos LAnguage-model-based Bimanual ORchestration (LABOR), un agente que utiliza un LLM para analizar configuraciones de tareas y desarrollar políticas de control de coordinación para abordar tareas bimanuales de largo plazo. En el entorno simulado, el agente LABOR se evalúa a través de varias tareas cotidianas en el robot humanoide NICOL. Las tasas de éxito reportadas indican que la eficiencia general de coordinación está cerca del rendimiento óptimo, mientras que el análisis de las causas de fracaso, clasificadas en coordinación espacial y temporal y selección de habilidades, muestra que estas varían según las tareas. El sitio web del proyecto se puede encontrar en http://labor-agent.github.io.