FAST: Ein leichtgewichtiges Verfahren zur Freisetzung beliebiger Client-Teilnahme am föderierten Lernen

Föderiertes Lernen (FL) bietet eine flexible verteilte Plattform, auf der zahlreiche Clients mit hoher Daten- und Systemheterogenität zusammenarbeiten können, um ein Modell zu lernen. Während frühere Forschungen gezeigt haben, dass FL mit diversen Daten umgehen kann, geht es oft vollständig von idealisierten Bedingungen aus. In der Praxis erschweren reale Faktoren die Vorhersage oder Gestaltung der individuellen Client-Teilnahme. Diese Komplexität führt zu einem unbekannten Teilnahmeverhalten - beliebige Client-Teilnahme (ACP). Daher besteht das zentrale ungelöste Problem darin, die Auswirkungen der Client-Teilnahme zu verstehen und einen leichtgewichtigen Mechanismus zur Unterstützung von ACP in FL zu entwickeln. In diesem Papier untersuchen wir zunächst empirisch den Einfluss der Client-Teilnahme in FL und zeigen, dass FL-Algorithmen negativ von ACP betroffen sind. Um die Auswirkungen zu mildern, schlagen wir eine leichte Lösung vor, Federated Average with Snapshot (FAST), die nahezu ACP für FL unterstützt und sich nahtlos mit anderen klassischen FL-Algorithmen integrieren lässt. Konkret zwingt FAST die Clients, von Zeit zu Zeit einen Snapshot zu erstellen, und erleichtert ACP für die Mehrheit der Trainingsprozesse. Wir beweisen, dass die Konvergenzraten von FAST in nicht-konvexen und stark-konvexen Fällen denjenigen unter idealer Client-Teilnahme entsprechen. Darüber hinaus führen wir empirisch eine adaptive Strategie ein, um die Snapshot-Häufigkeit dynamisch zu konfigurieren, um unterschiedliche FL-Systeme zu berücksichtigen. Umfassende Experimente zeigen, dass FAST die Leistung unter ACP und hoher Datenheterogenität signifikant verbessert.