Kommunikationseffizientes Lernen von tiefen Netzwerken aus dezentralen Daten

Moderne mobile Geräte haben Zugang zu einer Fülle von Daten, die sich für das Lernen von Modellen eignen, was wiederum die Benutzererfahrung auf dem Gerät erheblich verbessern kann. Zum Beispiel können Sprachmodelle die Sprach­erkennung und Texteingabe verbessern, und Bildmodelle können automatisch gute Fotos auswählen. Diese reichhaltigen Daten sind jedoch oft datenschutzsensibel, quantitativ groß oder beides, was das Protokollieren im Datenzentrum und das Training dort mit herkömmlichen Ansätzen ausschließen kann. Wir plädieren für einen alternativen Ansatz, der die Trainingsdaten dezentral auf den mobilen Geräten belässt und ein gemeinsames Modell durch Aggregation lokal berechneter Updates lernt. Wir nennen diesen dezentralen Ansatz Föderiertes Lernen. Wir präsentieren eine praktische Methode für das föderierte Lernen von tiefen Netzwerken basierend auf iterativer Modeller Averaging und führen eine umfangreiche empirische Bewertung durch, die fünf verschiedene Modellarchitekturen und vier Datensätze berücksichtigt. Diese Experimente zeigen, dass der Ansatz robust gegenüber unbalancierten und nicht-IID-Datenverteilungen ist, die ein charakteristisches Merkmal dieses Settings sind. Kommunikationskosten sind die Hauptbeschränkung, und wir zeigen eine Reduzierung der erforderlichen Kommunikationsrunden um das 10- bis 100-fache im Vergleich zu synchronisiertem stochastischen Gradientenabstieg.