Optimización de un Sistema de Gestión de Energía Basado en Clúster Utilizando Aprendizaje Profundo por Refuerzo Sin Afectar el Confort del Prosumer: Tecnologías V2X y Comercio de Energía entre Pares

El concepto de Prosumer ha permitido a los consumidores participar activamente en el comercio de energía entre pares (P2P), particularmente a medida que las Fuentes de Energía Renovables (RES) y los Vehículos Eléctricos (EV) se han vuelto más accesibles y rentables. Además del comercio de energía P2P, los prosumers se benefician de la capacidad energética relativamente alta de los EV a través de la integración de tecnologías Vehicle-to-X (V2X), como Vehicle-to-Home (V2H), Vehicle-to-Load (V2L) y Vehicle-to-Grid (V2G). Se requiere la optimización de un Sistema de Gestión de Energía (EMS) para asignar la energía requerida de manera eficiente dentro del clúster, debido a los complejos mecanismos de precios y de intercambio de energía del comercio de energía P2P y múltiples EV con tecnologías V2X. En este documento, se propone un método de optimización EMS basado en Aprendizaje Profundo por Refuerzo (DRL) para optimizar los mecanismos de precios e intercambio de energía del comercio de energía P2P sin afectar el confort de los prosumers. El EMS propuesto se aplica a un entorno de clúster a pequeña escala, que incluye múltiples (6) prosumers, comercio de energía P2P con mecanismos de precios híbridos novedosos y tecnologías V2X (V2H, V2L y V2G) para reducir los costos energéticos generales y aumentar los Ratios de Autosuficiencia (SSR). Se implementa un algoritmo DRL basado en agentes Multi Double Deep Q-Network (DDQN) y el entorno se formula como un Proceso de Decisión de Markov (MDP) para optimizar el proceso de toma de decisiones. Los resultados numéricos muestran que el EMS propuesto reduce los costos energéticos generales en un 19.18%, aumenta los SSR en un 9.39% y logra un SSR general del 65.87%. Además, los resultados numéricos indican que el DRL sin modelo, como el algoritmo de Aprendizaje por Refuerzo (RL) basado en el agente DDQN, promete eliminar las complejidades de la gestión energética con múltiples incertidumbres.