Compact: Annäherung komplexer Aktivierungsfunktionen für sichere Berechnungen

Sichere Mehrparteienberechnung (MPC) Techniken können verwendet werden, um Datenschutz zu gewährleisten, wenn Benutzer Abfragen an tiefen neuronalen Netzwerkmodellen (DNN) stellen, die in einer öffentlichen Cloud gehostet werden. State-of-the-Art MPC-Techniken können direkt für DNN-Modelle genutzt werden, die einfache Aktivierungsfunktionen (AFs) wie ReLU verwenden. Diese Techniken sind jedoch ineffektiv und/oder ineffizient für die komplexen und hochgradig nichtlinearen AFs, die in modernen DNN-Modellen verwendet werden. Wir präsentieren Compact, das stückweise polynomialen Annäherungen komplexer AFs produziert, um deren effizienten Einsatz mit modernen MPC-Techniken zu ermöglichen. Compact erfordert keine Einschränkungen beim Training des Modells und führt zu nahezu identischer Modellgenauigkeit. Um dies zu erreichen, haben wir Compact mit einer Eingabedichte-Achtsamkeit entworfen und nutzen eine anwendungsspezifische Optimierung des simulierten Abkühlens, um rechnerisch effizientere Annäherungen komplexer AFs zu erzeugen. Wir bewerten Compact umfassend bei vier verschiedenen Aufgaben des maschinellen Lernens mit DNN-Architekturen, die beliebte komplexe AFs wie silu, gelu und mish verwenden. Unsere experimentellen Ergebnisse zeigen, dass Compact einen vernachlässigbaren Genauigkeitsverlust verursacht, während es 2x-5x rechnerisch effizienter ist als moderne Ansätze für DNN-Modelle mit einer großen Anzahl von versteckten Schichten. Unsere Arbeit beschleunigt die einfache Übernahme von MPC-Techniken, um den Datenschutz der Benutzerdaten zu gewährleisten, selbst wenn die abgefragten DNN-Modelle aus mehreren versteckten Schichten bestehen und über komplexe AFs trainiert werden.