BranchyNet: Inferencia rápida a través de salida anticipada de redes neuronales profundas

Las redes neuronales profundas son métodos de vanguardia para muchas tareas de aprendizaje debido a su capacidad para extraer características cada vez mejores en cada capa de la red. Sin embargo, el rendimiento mejorado de capas adicionales en una red profunda viene con el costo de una mayor latencia y consumo de energía en la inferencia por retroalimentación. A medida que las redes continúan profundizándose y ampliándose, estos costos se vuelven más prohibitivos para aplicaciones en tiempo real y sensibles a la energía. Para abordar este problema, presentamos BranchyNet, una nueva arquitectura de red profunda que se complementa con clasificadores de ramas laterales adicionales. La arquitectura permite que los resultados de predicción para una gran parte de las muestras de prueba salgan de la red anticipadamente a través de estas ramas cuando las muestras pueden ser inferidas con alta confianza. BranchyNet explota la observación de que las características aprendidas en una capa temprana de una red a menudo pueden ser suficientes para la clasificación de muchos puntos de datos. Para muestras más difíciles, que se esperan con menor frecuencia, BranchyNet utilizará más capas de la red o todas las capas para proporcionar la mejor probabilidad de predicción correcta. Estudiamos la arquitectura de BranchyNet utilizando varias redes bien conocidas (LeNet, AlexNet, ResNet) y conjuntos de datos (MNIST, CIFAR10) y mostramos que puede mejorar tanto la precisión como reducir significativamente el tiempo de inferencia de la red.