Gestion de l'énergie en temps réel d'un micro-réseau utilisant l'apprentissage par renforcement profond

Propulsé par les récentes avancées et applications des technologies de réseaux intelligents, notre réseau électrique subit une modernisation radicale. Le micro-réseau (MG) joue un rôle important dans cette modernisation en fournissant un moyen flexible d'intégrer des ressources énergétiques renouvelables distribuées (RES) dans le réseau électrique. Cependant, les RES distribuées, telles que l'énergie solaire et éolienne, peuvent être hautement intermittentes et stochastiques. Ces ressources incertaines, combinées à la demande de charge, entraînent des variations aléatoires tant du côté de l'offre que de la demande, ce qui rend difficile le fonctionnement efficace d'un MG. En se concentrant sur ce problème, cet article propose une nouvelle approche de gestion de l'énergie pour la planification en temps réel d'un MG, tenant compte de l'incertitude de la demande de charge, de l'énergie renouvelable et du prix de l'électricité. Contrairement aux approches conventionnelles basées sur des modèles nécessitant un prédicteur pour estimer l'incertitude, la solution proposée est basée sur l'apprentissage et ne nécessite pas de modèle explicite de l'incertitude. Plus précisément, la gestion de l'énergie du MG est modélisée comme un processus de décision de Markov (MDP) avec pour objectif de minimiser le coût d'exploitation quotidien. Une approche d'apprentissage par renforcement profond (DRL) est développée pour résoudre le MDP. Dans l'approche DRL, un réseau de neurones profond à propagation avant est conçu pour approximativer la fonction de valeur d'action optimale, et l'algorithme du réseau Q profond (DQN) est utilisé pour entraîner le réseau de neurones. L'approche proposée prend l'état du MG comme entrée et produit directement les horaires de génération en temps réel. Enfin, en utilisant des données réelles du réseau électrique de l'Opérateur indépendant du système de Californie (CAISO), des études de cas sont menées pour démontrer l'efficacité de l'approche proposée.