¿Sólo los LLMs pueden razonar?: Potencial de los modelos de lenguaje pequeños en la planificación de tareas

En robótica, el uso de Modelos de Lenguaje Grande (LLMs) se está volviendo prevalente, especialmente para entender comandos humanos. En particular, los LLMs se utilizan como planificadores de tareas independientes del dominio para comandos humanos de alto nivel. Los LLMs son capaces de razonamiento en Cadena de Pensamiento (CoT), y esto permite a los LLMs actuar como planificadores de tareas. Sin embargo, debemos considerar que los robots modernos aún tienen dificultades para realizar acciones complejas, y los dominios donde los robots pueden ser desplegados son limitados en la práctica. Esto nos lleva a plantear una pregunta: Si los LMs pequeños pueden ser entrenados para razonar en cadenas dentro de un solo dominio, ¿serían incluso los LMs pequeños buenos planificadores de tareas para los robots? Para entrenar LMs más pequeños para razonar en cadenas, construimos conjuntos de datos `COmmand-STeps' (COST) que constan de comandos de alto nivel junto con pasos de bajo nivel correspondientes y accionables, a través de LLMs. No solo publicamos nuestros conjuntos de datos, sino también las plantillas de aviso utilizadas para generarlos, para permitir que cualquier persona construya conjuntos de datos para su dominio. Comparamos GPT3.5 y GPT4 con el GPT2 ajustado para dominios de tareas, en ambientes de mesa y cocina, y el resultado muestra que GPT2-medium es comparable a GPT3.5 para la planificación de tareas en un dominio específico. Nuestro conjunto de datos, código, y más muestras de salida se pueden encontrar en https://github.com/Gawon-Choi/small-LMs-Task-Planning.