Mejora Global de Prompts con Enmascaramiento de Atención No Interferente para Aprendizaje Federado de Una Sola Toma

El Aprendizaje Federado de Prompts (FPL) permite la adaptación eficiente en comunicación al ajustar prompts ligeros sobre modelos preentrenados congelados. Los métodos FPL existentes generalmente dependen de información global, que solo está disponible después de la segunda ronda de entrenamiento, para facilitar la colaboración entre los modelos de cliente. Por lo tanto, son inherentemente dependientes de la comunicación de múltiples rondas para exhibir completamente sus fortalezas. Además, los métodos de aprendizaje federado de una sola toma típicamente se centran en ajustar tareas vistas, pero carecen de generalización entre tareas. Para cerrar esta brecha, proponemos el método de Mejora Global de Prompts con Enmascaramiento de Atención No Interferente (GPR-NIAM) para FPL de una sola toma. La idea central es diseñar un mecanismo de enmascaramiento que restrinja la interacción excesiva entre las incrustaciones de texto originales y las incrustaciones de prompts aprendibles. GPR-NIAM logra esto a través de la colaboración de dos módulos clave. En primer lugar, el módulo de aislamiento de atención suprime la atención de los tokens de prompts aprendibles hacia los tokens de texto originales y repondera la atención inversa que preserva la generalización entre tareas. En segundo lugar, el módulo de refinamiento colaborativo entre silos integra el conocimiento visual descentralizado en una base unificada y calibra el prompt global a través de la alineación de conocimiento cruzado multimodal de múltiples fuentes, mitigando aún más la inconsistencia causada por la heterogeneidad de los datos. Experimentos extensos realizados en diez conjuntos de datos de referencia bajo dos tareas muestran que GPR-NIAM supera a ocho métodos de vanguardia tanto en generalización a nivel de clase como a nivel de dominio.