Con el fin de lograr una mejor precisión, los modelos modernos se han vuelto cada vez más grandes, lo que ha llevado a un aumento exponencial en la carga computacional, haciendo que sea un desafío aplicarlos a la computación en el borde. Las redes neuronales binarias (BNNs) son modelos que cuantizan los pesos de los filtros y las activaciones a 1 bit. Estos modelos son altamente adecuados para chips pequeños como máquinas RISC avanzadas (ARMs), matrices de puertas programables en campo (FPGAs), circuitos integrados específicos para aplicaciones (ASICs), sistemas en chip (SoCs) y otros dispositivos de computación en el borde. Para diseñar un modelo que sea más amigable para los dispositivos de computación en el borde, es crucial reducir las operaciones en punto flotante (FLOPs). La normalización por lotes (BN) es una herramienta esencial para las redes neuronales binarias; sin embargo, cuando las capas de convolución se cuantizan a 1 bit, el costo de computación en punto flotante de las capas BN se vuelve significativamente alto. Este artículo tiene como objetivo reducir las operaciones en punto flotante al eliminar las capas BN del modelo e introducir el método de convolución de estandarización de peso escalado (WS-Conv) para evitar la caída significativa de precisión causada por la ausencia de capas BN y mejorar el rendimiento del modelo a través de una serie de optimizaciones, recorte de gradiente adaptativo (AGC) y destilación de conocimiento (KD). Específicamente, nuestro modelo mantiene un costo computacional competitivo y precisión, incluso sin capas BN. Además, al incorporar una serie de métodos de entrenamiento, la precisión del modelo en CIFAR-100 es un 0.6% superior a la del modelo base, BNN de activación fraccionaria (FracBNN), mientras que la carga computacional total es solo del 46% de la carga del modelo base. Con operaciones binarias (BOPs) sin cambios, los FLOPs se reducen a casi cero, haciéndolo más adecuado para plataformas embebidas como FPGAs u otros computadores en el borde.
Lin et al. (Thu,) estudiaron esta cuestión.