Transfert d'Architecture Neuronale 2

L'avènement de l'apprentissage profond a eu un impact significatif sur divers secteurs de la société moderne, les réseaux neuronaux artificiels devenant les modèles leaders pour relever une large gamme de défis. L'innovation des méthodes de Recherche d'Architecture Neuronale (NAS), qui facilitent la création automatisée de réseaux neuronaux optimaux, marque une avancée significative dans ce domaine. Cependant, les grandes ressources computationnelles et le temps requis pour les processus NAS constituent des limitations importantes. Pour répondre à ces défis, Once-For-All (OFA) et sa version avancée, Once-For-All-2 (OFAv2), ont été introduits pour développer un super-réseau unique et complet capable de dériver efficacement des sous-réseaux spécifiques sans nécessiter de ré-entraînement, maintenant ainsi d'excellentes performances sous différentes contraintes. S'appuyant sur cela, le Transfert d'Architecture Neuronale (NAT) a été développé pour améliorer l'efficacité de l'extraction de tels sous-réseaux à partir du super-réseau global. Cette étude introduit le Transfert d'Architecture Neuronale 2 (NAT2), une évolution du NAT qui affine les mécanismes de recherche multi-objectifs au sein de super-réseaux dynamiques pour améliorer encore le compromis entre la performance et la complexité des architectures recherchées. S'appuyant sur les avancées d'OFAv2, NAT2 introduit des améliorations qualitatives significatives dans les sous-réseaux qui peuvent être extraits en incorporant de nouvelles politiques pour l'initialisation du réseau, le prétraitement et les mises à jour de l'archive, ainsi qu'un pipeline de post-traitement basé sur le réglage fin. Les preuves empiriques présentées ici mettent en évidence l'efficacité de NAT2 par rapport à son prédécesseur, notamment dans le développement d'architectures à haute performance avec un nombre réduit de paramètres et d'opérations de somme et accumulation.