Architecture Neuronale Homéostatique (HNA) : Auto-modification Structurelle Pilotée par le Hessien en Ligne pour la Découverte Automatique d'Architecture

Nous présentons l'Architecture Neuronale Homéostatique (HNA), un cadre pour l'auto-modification structurelle pilotée par le Hessien en ligne des réseaux neuronaux lors d'une seule session d'entraînement. Contrairement à la Recherche d'Architecture Neuronale (NAS), qui traite la découverte d'architecture comme un problème d'optimisation boîte noire externe nécessitant des milliers d'heures GPU, HNA interroge en continu la diagonale de Fisher empirique pour prendre des décisions structurelles détaillées — division de neurones, élagage de neurones, insertion de couches, suppression de couches et gestion des connexions à sauter — avec toutes les opérations étant sans perturbation : la fonction du réseau est exactement préservée à chaque événement structurel. Sur les pixels bruts de CIFAR-10 (sans abandon, normalisation -1,1, avec augmentation), HNA découvre une architecture de 10M paramètres (3072→3027→249→10) atteignant 65,8 % de précision de validation avec un écart de 3,0 % entre l'entraînement et la validation — surpassant strictement un réseau conçu par un humain de 40M paramètres (62,3 % de validation, écart de 33,1 %) avec un quart du nombre de paramètres et un écart de généralisation 11× plus petit. Même sans modification structurelle, l'entraînement de l'architecture découverte par HNA en tant que réseau fixe atteint 64,9 % de précision au test, surpassant toutes les références humaines à des comptes de paramètres comparables. Sur les pixels bruts de MNIST, HNA atteint 98,6 % de précision de validation. L'évolution du seuil nécessite environ 3 heures sur un seul GPU grand public (NVIDIA RTX 4060 8 Go) à une utilisation partielle.