Verallgemeinerungsfehler sind wichtig für dezentrales Lernen unter byzantinischen Angriffen

In letzter Zeit hat sich dezentrales Lernen als beliebtes Peer-to-Peer-Signal- und Informationsverarbeitungsparadigma entwickelt, das das Modelltraining über geografisch verteilte Agenten in skalierbarer Weise ermöglicht, ohne dass ein zentraler Server erforderlich ist. Wenn einige der Agenten böswillig sind (auch als byzantinisch bezeichnet), sind widerstandsfähige dezentrale Lernalgorithmen in der Lage, die Auswirkungen dieser byzantinischen Agenten zu begrenzen, ohne deren Anzahl und Identitäten zu kennen, und haben garantierte Optimierungsfehler. Eine Analyse der Verallgemeinerungsfehler, die für die Implementierungen der trainierten Modelle entscheidend ist, fehlt jedoch noch. In diesem Papier präsentieren wir die erste Analyse der Verallgemeinerungsfehler für eine Klasse beliebter byzantinsicherresistenter dezentraler stochastischer Gradientenabstieg (DSGD)-Algorithmen. Unsere theoretischen Ergebnisse zeigen, dass die Verallgemeinerungsfehler aufgrund der Präsenz der byzantinischen Agenten nicht vollständig beseitigt werden können, selbst wenn die Anzahl der Trainingsproben unendlich groß ist. Numerische Experimente werden durchgeführt, um unsere theoretischen Ergebnisse zu bestätigen.