Descifrando el impacto de los datos de preentrenamiento en los Modelos de Lenguaje Grande a través del Desaprender Máquina

A través del preentrenamiento en un corpus con diversas fuentes, los Modelos de Lenguaje Grande (LLMs) han logrado un rendimiento impresionante. Sin embargo, el impacto de cada componente del corpus de preentrenamiento sigue siendo opaco. Como resultado, la organización del corpus de preentrenamiento aún es empírica y puede desviarse de lo óptimo. Para abordar este problema, analizamos sistemáticamente el impacto de 48 conjuntos de datos de 5 categorías principales de datos de preentrenamiento de LLMs y medimos sus impactos en los LLMs utilizando puntos de referencia sobre nueve categorías principales de capacidades del modelo. Nuestras análisis proporcionan resultados empíricos sobre la contribución de múltiples corpora al rendimiento de los LLMs, junto con sus patrones de impacto conjunto, incluyendo relaciones complementarias, ortogonales y correlacionales. También identificamos un conjunto de ``datos de alto impacto'' como Libros que están significativamente relacionados con un conjunto de capacidades del modelo. Estos hallazgos proporcionan información sobre la organización de datos para apoyar un preentrenamiento más eficiente de los LLMs.