PromptFL: Lassen Sie föderierte Teilnehmer kooperativ Aufforderungen anstelle von Modellen lernen – Föderiertes Lernen im Zeitalter des Fundamentmodells

Eine schnelle globale Aggregation effektiver verteilter Parameter ist entscheidend für das föderierte Lernen (FL), das ausreichende Bandbreite für die Parameterkommunikation und genügend Nutzerdaten für das lokale Training erfordert. Andernfalls kann FL übermäßige Trainingszeit für die Konvergenz kosten und ungenaue Modelle produzieren. In diesem Papier schlagen wir ein brandneues FL-Framework, PromptFL, vor, das das föderierte Modelltraining durch das föderierte Aufforderungstraining ersetzt, d.h. die föderierten Teilnehmer sollen Aufforderungen anstelle eines gemeinsamen Modells trainieren, um gleichzeitig die effiziente globale Aggregation und das lokale Training mit unzureichenden Daten zu erreichen, indem die Leistungsfähigkeit von Fundamentmodellen (FM) in verteilten Weisen ausgenutzt wird. PromptFL befördert ein gebrauchsfertiges FM, d.h. CLIP, zu verteilten Clients, die kooperativ gemeinsame weiche Aufforderungen basierend auf sehr wenigen lokalen Daten trainieren. Da PromptFL nur die Aufforderungen und nicht das gesamte Modell aktualisieren muss, können sowohl das lokale Training als auch die globale Aggregation erheblich beschleunigt werden. Und FM, die über große Datenmengen trainiert wurden, können den verteilten Benutzern mit den trainierten weichen Aufforderungen eine starke Anpassungsfähigkeit an ihre Aufgaben bieten. Wir analysieren PromptFL empirisch durch umfangreiche Experimente und zeigen seine Überlegenheit in Bezug auf Systemfeasibilität, Benutzerdatenschutz und Leistung.