配电网中电动汽车充电控制的联邦强化学习

随着电动汽车（EV）的日益普及，维持电网稳定性已成为一项重大挑战。为了解决这一问题，研究人员开发了EV充电控制策略，以管理EV在车到网（V2G）和网到车（G2V）模式之间的切换。在此背景下，多智能体深度强化学习（MADRL）已被证明在EV充电控制中非常有效。然而，现有的基于MADRL的方法未能考虑配电网中EV充放电的自然潮流，且忽视了驾驶员隐私。为了解决这些问题，本文提出了一种新颖的方法，将多EV充放电与在最优潮流（OPF）下运行的辐射状配电网（RDN）相结合，以实时分配潮流。本文建立了一个数学模型来描述RDN负荷。将EV充电控制问题表述为马尔可夫决策过程（MDP），以寻求平衡V2G收益、RDN负荷和驾驶员焦虑的最优充电控制策略。为了有效学习最优EV充电控制策略，进一步提出了一种名为FedSAC的联邦深度强化学习算法。综合仿真结果表明，我们提出的算法在充电控制策略的多样性、RDN上的功率波动、收敛效率以及泛化能力方面均具有有效性和优越性。