Une revue de la différentiation automatique et de son implémentation efficace

Les dérivées jouent un rôle essentiel en statistiques computationnelles, des exemples étant l'inférence bayésienne utilisant l'échantillonnage de Monte Carlo Hamiltonien et l'entraînement de réseaux neuronaux. La différentiation automatique (DA) est un outil puissant pour automatiser le calcul des dérivées et elle est préférable aux méthodes plus traditionnelles, en particulier lors de la différentiation d'algorithmes complexes et de fonctions mathématiques. L'implémentation de la DA nécessite cependant quelques précautions pour assurer l'efficacité. Les packages de différentiation modernes déploient un large éventail de techniques computationnelles pour améliorer l'applicabilité, le temps d'exécution et la gestion de la mémoire. Parmi ces techniques figurent la surcharge d'opérateurs, la mémoire basée sur des régions et les templates d'expressions. Il existe également plusieurs techniques mathématiques qui peuvent entraîner d'importants gains de performance lorsqu'elles sont appliquées à des algorithmes complexes. Par exemple, les dérivées semi-analytiques peuvent réduire d'ordres de grandeur le temps d'exécution nécessaire pour résoudre numériquement et différencier une équation algébrique. Des problèmes ouverts et pratiques incluent l'extension des packages actuels pour fournir des routines plus spécialisées, et la recherche de méthodes optimales pour effectuer une différentiation d'ordre supérieur. Cet article est classé sous : Développement Algorithmique > Méthodes Statistiques Évolutives.