AutoLoRA: Ajuste Automático de Rangos de Matrices en Adaptación de Bajo Rango Basada en Meta Aprendizaje

El preentrenamiento a gran escala seguido de un ajuste fino específico de tareas ha logrado un gran éxito en varias tareas de PLN. Dado que ajustar todos los parámetros de modelos preentrenados grandes presenta desafíos sustanciales en términos de computación y memoria, se han desarrollado varios métodos de ajuste fino eficientes. Entre ellos, la adaptación de bajo rango (LoRA), que ajusta matrices de actualización incremental de bajo rango sobre pesos preentrenados congelados, ha demostrado ser particularmente efectiva. Sin embargo, la asignación uniforme de rangos de LoRA en todas las capas, junto con su dependencia de una búsqueda exhaustiva para encontrar el mejor rango, conduce a altos costos de computación y un rendimiento de ajuste fino subóptimo. Para abordar estas limitaciones, presentamos AutoLoRA, un marco basado en meta aprendizaje para identificar automáticamente el rango óptimo de cada capa de LoRA. AutoLoRA asocia cada matriz de rango 1 en una matriz de actualización de bajo rango con una variable de selección, que determina si la matriz de rango 1 debe ser descartada. Se desarrolla un método basado en meta aprendizaje para aprender estas variables de selección. El rango óptimo se determina al umbralizar los valores de estas variables. Nuestros experimentos exhaustivos en comprensión del lenguaje natural, generación y etiquetado de secuencias demuestran la efectividad de AutoLoRA.