Réseaux Neuronaux Adaptatifs pour une Inférence Efficace

Nous présentons une approche pour utiliser de manière adaptative les réseaux de neurones profonds afin de réduire le temps d'évaluation sur de nouveaux exemples sans perte de précision. Plutôt que de tenter de redessiner ou d'approximer les réseaux existants, nous proposons deux schémas qui utilisent les réseaux de manière adaptative. Nous posons d'abord un schéma d'évaluation de réseau adaptatif, où nous apprenons un système pour choisir de manière adaptative les composants d'un réseau profond à évaluer pour chaque exemple. En permettant aux exemples correctement classés utilisant les premières couches du système de sortir, nous évitons le temps de calcul associé à l'évaluation complète du réseau. Nous étendons cela pour apprendre un système de sélection de réseau qui choisit de manière adaptative le réseau à évaluer pour chaque exemple. Nous montrons que le temps de calcul peut être considérablement réduit en exploitant le fait que de nombreux exemples peuvent être correctement classés en utilisant des réseaux relativement efficaces et que des réseaux complexes et coûteux en calcul ne sont nécessaires que pour une petite fraction d'exemples. Nous posons un objectif global pour apprendre une stratégie de sortie anticipée adaptative ou de sélection de réseau et le résolvons en réduisant le problème d'apprentissage de la stratégie à un problème de classification binaire pondéré couche par couche. Empiriquement, ces approches entraînent des réductions dramatiques du coût computationnel, avec jusqu'à un gain de 2,8x sur des réseaux de pointe issus du défi de reconnaissance d'images ImageNet avec une perte minimale (<1%) de précision top5.