xMLP: Revolutionierung der privaten Inferenz mit exklusiver quadratischer Aktivierung

Private Inference (PI) ermöglicht es tiefen neuronalen Netzen (DNNs), mit privaten Daten zu arbeiten, ohne sensible Informationen preiszugeben, indem kryptographische Primitiven wie Mehrparteienberechnung (MPC) und homomorphe Verschlüsselung (HE) ausgenutzt werden. Jedoch kann die Verwendung von nicht-linearen Aktivierungen wie ReLU in DNNs zu praktisch hohen PI-Latenzen in bestehenden PI-Systemen führen, da ReLU kostspielige MPC-Berechnungen erfordert, wie etwa Garbled Circuits. Da quadratische Aktivierungen von Beavers Tripeln Hunderte Male schneller verarbeitet werden können als ReLU, sind sie besser für PI-Aufgaben geeignet, aber ihre Verwendung führt zu einem signifikanten Rückgang der Modellgenauigkeit. Diese Arbeit beginnt mit der Untersuchung der Gründe für diesen Genauigkeitsrückgang nach der Verwendung quadratischer Aktivierungen und kommt zu dem Schluss, dass dies auf einen "Informationsanhäufungseffekt" zurückzuführen ist. Dieses Wissen nutzt, schlagen wir xMLP vor, eine neuartige DNN-Architektur, die ausschließlich quadratische Aktivierungen verwendet und dabei sowohl die Genauigkeit als auch die Effizienz im Vergleich zu ReLU-basierten DNNs aufrechterhält. Unsere Experimente mit CIFAR-100 und ImageNet zeigen, dass xMLP-Modelle konsistent bessere Leistungen erzielen als ResNet-Modelle mit weniger Aktivierungsschichten und Parametern und dabei eine gleichbleibende Leistung mit ihren ReLU-basierten Varianten aufrechterhalten. Bemerkenswerterweise zeigt xMLP im Vergleich zu modernen PI-Modellen eine überlegene Leistung mit einer Steigerung der Genauigkeit um 0,58 % und einer PI-Geschwindigkeit, die 7x schneller ist. Darüber hinaus liefert es eine signifikante Verbesserung der Genauigkeit um 4,96 %, während die PI-Latenz gleich bleibt. Bei der Auslagerung von PI auf die GPU ist xMLP bis zu 700x schneller als das vorherige moderne PI-Modell bei vergleichbarer Genauigkeit.