Nodos de máscara Fisher para la fusión de modelos de lenguaje

El ajuste de modelos preentrenados proporciona ventajas significativas en el rendimiento posterior. La naturaleza ubicua de los modelos preentrenados como BERT y sus derivados en el procesamiento del lenguaje natural también ha llevado a una proliferación de modelos ajustados específicamente para tareas. Dado que estos modelos suelen realizar bien una sola tarea, se requiere entrenamiento adicional o ensamblaje en escenarios de múltiples tareas. El creciente campo de la fusión de modelos ofrece una solución, abordando el desafío de combinar múltiples modelos específicos de tarea en un único modelo de múltiples tareas. En este estudio, presentamos un nuevo método de fusión de modelos para Transformers, combinando ideas de trabajos anteriores en promedios ponderados por Fisher y el uso de información de Fisher en la poda de modelos. Utilizando la información de Fisher de los nodos de máscara dentro de la arquitectura Transformer, ideamos un esquema de promediado ponderado computacionalmente eficiente. Nuestro método exhibe un aumento regular y significativo del rendimiento en varios modelos de la familia BERT, superando el promediado ponderado por Fisher a gran escala a una fracción del costo computacional, con mejoras en el rendimiento de referencia de hasta +6.5 y un aumento de velocidad de 57.4x. Nuestros resultados demuestran el potencial de nuestro método en los actuales entornos de aprendizaje de múltiples tareas y sugieren su escalabilidad y adaptabilidad a nuevas arquitecturas de modelos y escenarios de aprendizaje.