Vertikales Föderiertes Lernen: Herausforderungen, Methoden und Experimente

In letzter Zeit hat sich das föderierte Lernen (FL) als vielversprechende verteilte Technologie für maschinelles Lernen (ML) herausgestellt, was auf die fortschreitenden Rechen- und Sensorkapazitäten von Endgeräten zurückzuführen ist, jedoch mit zunehmenden Bedenken hinsichtlich der Privatsphäre der Nutzer. Als eine spezielle Architektur im FL ist das vertikale FL (VFL) in der Lage, ein hyper ML-Modell zu konstruieren, indem es Sub-Modelle von verschiedenen Clients integriert. Diese Sub-Modelle werden lokal mit vertikal partitionierten Daten mit unterschiedlichen Attributen trainiert. Daher ist das Design von VFL grundlegend anders als das von konventionellem FL, was neue und einzigartige Forschungsfragen aufwirft. In diesem Papier möchten wir die wichtigsten Herausforderungen im VFL mit effektiven Lösungen diskutieren und Experimente an realen Datensätzen durchführen, um Licht auf diese Fragen zu werfen. Insbesondere schlagen wir zunächst einen allgemeinen Rahmen für VFL vor und heben die wichtigsten Unterschiede zwischen VFL und konventionellem FL hervor. Anschließend diskutieren wir Forschungsherausforderungen, die in VFL-Systemen unter vier Aspekten verwurzelt sind, d.h. Sicherheits- und Privatsphäre-Risiken, hohe Rechen- und Kommunikationskosten, mögliche strukturelle Schäden durch Modellsplittung und Systemheterogenität. Danach entwickeln wir Lösungen zur Bewältigung der oben genannten Herausforderungen und führen umfangreiche Experimente durch, um die Wirksamkeit unserer vorgeschlagenen Lösungen zu demonstrieren.