Quelle est l'importance des fonctions d'activation en régression et en classification ? Une enquête, une comparaison de performances et des directions futures

Inspirées par les neurones biologiques, les fonctions d'activation jouent un rôle essentiel dans le processus d'apprentissage de tout réseau de neurones artificiels couramment utilisé dans de nombreux problèmes du monde réel. Différentes fonctions d'activation ont été proposées dans la littérature pour les tâches de classification ainsi que de régression. Dans ce travail, nous examinons les fonctions d'activation qui ont été employées par le passé ainsi que l'état actuel de l'art. En particulier, nous présentons divers développements des fonctions d'activation au fil des ans ainsi que les avantages et inconvénients ou limitations de ces fonctions d'activation. Nous discutons également des fonctions d'activation classiques (fixes), y compris les unités de redressement, et des fonctions d'activation adaptatives. En plus de discuter de la taxonomie des fonctions d'activation basée sur la caractérisation, une taxonomie des fonctions d'activation basée sur les applications est présentée. À cette fin, une comparaison systématique de diverses fonctions d'activation fixes et adaptatives est réalisée pour des ensembles de données de classification tels que le MNIST, CIFAR-10 et CIFAR-100. Ces dernières années, un cadre d'apprentissage automatique informé par la physique a émergé pour résoudre des problèmes liés à des calculs scientifiques. À cette fin, nous discutons également des diverses exigences pour les fonctions d'activation qui ont été utilisées dans le cadre d'apprentissage automatique informé par la physique. De plus, diverses comparaisons sont faites parmi différentes fonctions d'activation fixes et adaptatives en utilisant diverses bibliothèques d'apprentissage automatique telles que TensorFlow, Pytorch et JAX.