PokeBNN: Eine binäre Jagd nach leichter Genauigkeit

Die Optimierung von Top-1 ImageNet fördert enorme Netzwerke, die in Inferenzszenarien möglicherweise impraktisch sind. Binäre neuronale Netzwerke (BNNs) haben das Potenzial, die Rechenintensität erheblich zu senken, aber bestehende Modelle leiden unter geringer Qualität. Um dieses Defizit zu überwinden, schlagen wir Poke-Conv vor, einen binären Konvolutionsblock, der die Qualität von BNNs durch Techniken wie das Hinzufügen mehrerer Residualpfade und das Abstimmen der Aktivierungsfunktion verbessert. Wir wenden es auf ResNet-50 an und optimieren die anfängliche konvolutionale Schicht von ResNet, die schwer binarisiert werden kann. Wir nennen die resultierende Netzwerkfamilie PokeBNN, ausgesprochen ähnlich wie „pocket“. PokeConv, PokeBNN und Pokemon sind Abkürzungen für Pocket Convolution, Pocket Binary Neural Network und Pocket Monster, jeweils. Diese Techniken wurden ausgewählt, um günstige Verbesserungen sowohl in der Top-1-Genauigkeit als auch in den Kosten des Netzwerks zu erzielen. Um eine gemeinsame Optimierung der Kosten zusammen mit der Genauigkeit zu ermöglichen, definieren wir den arithmetischen Rechenaufwand (ACE), eine hardware- und energieinspirierten Kostenkennzahl für quantisierte und binarisiert Netzwerke. Außerdem identifizieren wir den Bedarf, einen wenig erforschten Hyperparameter zu optimieren, der die Approximation des Binarisationsgradienten steuert. Wir etablieren einen neuen, starken Stand der Technik (SOTA) in Bezug auf die Top-1-Genauigkeit zusammen mit gängigen CPU64-Kosten, ACE-Kosten und Metriken zur Netzwerkgröße. ReActNet-Adam, der vorherige SOTA in BNNs, erreichte eine Top-1-Genauigkeit von 70,5 % mit 7,9 ACE. Eine kleine Variante von PokeBNN erreicht 70,5 % Top-1 mit 2,6 ACE, was mehr als eine 3-fache Kostenreduktion bedeutet; ein größeres PokeBNN erreicht 75,6 % Top-1 mit 7,8 ACE, was mehr als 5 % Verbesserung in der Genauigkeit bei gleichbleibenden Kosten bedeutet. Die PokeBNN-Implementierung in JAX/Flax und die Reproduktionsanweisungen sind Open Source. Der Quellcode und die Reproduktionsanweisungen sind im AQT-Repository verfügbar: github.com/google/aqt.