Mejorando las capacidades del agente general de los LLMs de bajo parámetro a través de la sintonización y el razonamiento de múltiples ramas

Los modelos de lenguaje grande (LLMs) preentrenados de código abierto exhiben una fuerte comprensión y generación del lenguaje, lo que los hace muy exitosos en una variedad de tareas. Sin embargo, cuando se utilizan como agentes para enfrentar problemas complejos en el mundo real, su rendimiento es considerablemente inferior al de grandes modelos comerciales como ChatGPT y GPT-4. Como agentes inteligentes, los LLMs necesitan tener las capacidades de planificación de tareas, memoria a largo plazo y la capacidad de aprovechar herramientas externas para lograr un rendimiento satisfactorio. Se han propuesto varios métodos para mejorar las capacidades de agente de los LLMs. Por un lado, los métodos implican la construcción de datos específicos del agente y el ajuste fino de los modelos. Por otro lado, algunos métodos se centran en diseñar indicaciones que activen eficazmente las habilidades de razonamiento de los LLMs. Exploramos ambas estrategias en los modelos de 7B y 13B. Proponemos un método integral para construir datos específicos del agente utilizando GPT-4. A través de un ajuste fino supervisado con datos construidos, encontramos que para estos modelos con un número relativamente pequeño de parámetros, el ajuste fino supervisado puede reducir significativamente las producciones de alucinaciones y errores de formato en las tareas del agente. Además, técnicas como el razonamiento de múltiples caminos y la descomposición de tareas pueden disminuir eficazmente la complejidad del problema y mejorar el rendimiento de los LLMs como agentes. Evaluamos nuestro método en cinco tareas de agentes de AgentBench y logramos resultados satisfactorios.