SCAR: Ajuste de Instrucciones Eficiente para Modelos de Lenguaje Grande a través de la Clasificación de Respuestas Consciente de la Consistencia del Estilo

Estudios recientes han demostrado que mantener un estilo de respuesta consistente por parte de expertos humanos y mejorar la calidad de los datos en los conjuntos de entrenamiento puede mejorar significativamente el rendimiento de los Modelos de Lenguaje Grande (LLMs) ajustados, al mismo tiempo que se reduce el número de ejemplos de entrenamiento necesarios. Sin embargo, la definición precisa de estilo y la relación entre el estilo, la calidad de los datos y el rendimiento del LLM sigue siendo poco clara. Esta investigación descompone el estilo de respuesta en estilos de presentación y composición y encuentra que, entre datos de entrenamiento de calidad similar, aquellos con mayor consistencia de estilo conducen a un mejor rendimiento del LLM. Inspirados en esto, presentamos la Clasificación de Respuestas Consciente de la Consistencia del Estilo (SCAR), que prioriza automáticamente los pares de instrucción-respuesta en el conjunto de entrenamiento según su consistencia estilística de respuesta. Al seleccionar los ejemplos más consistentes en estilo, que van desde el 25% superior hasta el 0.7% del conjunto de datos completo, los LLM ajustados pueden igualar o incluso superar el rendimiento de modelos entrenados en el conjunto de datos completo en benchmarks de codificación y respuesta a preguntas abiertas. El código y los datos están disponibles en https://github.com/zhuang-li/SCAR.