El ajuste de indicios contraataca: Personalización de modelos base con adaptación de indicios de bajo rango

El ajuste fino eficiente en parámetros (PEFT) se ha convertido en el estándar para personalizar modelos base (FMs) para tareas específicas del usuario. Sin embargo, los métodos típicos de PEFT requieren almacenar múltiples adaptadores específicos de la tarea, creando problemas de escalabilidad, ya que estos adaptadores deben alojarse y ejecutarse en el servidor del FM. El ajuste tradicional de indicios ofrece una solución potencial mediante la personalización a través de prefijos de entrada específicos de la tarea, pero su rendimiento es inferior en comparación con otros métodos de PEFT como LoRA. Para abordar esta brecha, proponemos la adaptación de indicios de bajo rango (LOPA), un enfoque basado en el ajuste de indicios que rinde al mismo nivel que los métodos de PEFT más avanzados y el ajuste fino completo, al tiempo que es más eficiente en parámetros y no requiere un adaptador basado en servidor. LOPA genera indicios suaves al equilibrar la compartición de información específica de la tarea entre instancias y la personalización para cada instancia. Utiliza una descomposición de bajo rango del componente de indicio suave codificado para cada instancia para lograr eficiencia en parámetros. Proporcionamos una evaluación exhaustiva en múltiples tareas de comprensión del lenguaje natural y generación y comprensión de código a través de una amplia gama de modelos base de diferentes tamaños.