Key points are not available for this paper at this time.
Das Prompt-Lernen in vortrainierten visuellen Sprachmodellen hat bemerkenswerte Flexibilität in verschiedenen downstream Aufgaben gezeigt. Unter Ausnutzung seiner inhärent leichten Natur haben aktuelle Forschungen versucht, die leistungsstarken vortrainierten Modelle in föderierte Lernframeworks zu integrieren, um gleichzeitig die Kommunikationskosten zu senken und das lokale Training mit unzureichenden Daten zu fördern. Trotz dieser Bemühungen fehlen den derzeitigen föderierten Prompt-Lernmethoden spezialisierte Designs, um systematisch schwerwiegende Datenheterogenitäten anzugehen, z. B. Datenverteilungen mit sowohl Label- als auch Merkmalsverschiebungen. Um diese Herausforderung anzugehen, präsentieren wir die Föderierte Prompts-Kooperation über optimalen Transport (FedOTP), die effiziente kollaborative Prompt-Lernstrategien einführt, um vielfältige Kategorietraits auf einer pro-Client-Basis zu erfassen. Konkret lernen wir für jeden Client ein globales Prompt, um Konsenswissen zwischen den Clients zu extrahieren, und ein lokales Prompt, um client-spezifische Kategoriecharakteristika zu erfassen. Unbalanced Optimal Transport wird dann eingesetzt, um lokale visuelle Merkmale mit diesen Prompts abzugleichen, wodurch ein Gleichgewicht zwischen globalem Konsens und lokaler Personalisierung geschaffen wird. Umfangreiche Experimente an Datensätzen mit verschiedenen Arten von Heterogenitäten haben gezeigt, dass unser FedOTP die aktuellen Methoden übertrifft.
Li et al. (Do,) haben diese Frage untersucht.