Spezialisiertes Deep Residual Policy Reinforcement Learning Framework für sichere und adaptive kontinuierliche Steuerung

ZUSAMMENFASSUNG Traditionelle Regelungen haben Einschränkungen, da sie auf vorherigem Wissen über die Physik des Problems basieren, eine Modellierung der Dynamik erfordern und Schwierigkeiten haben, sich an abnormale Situationen anzupassen. Deep Reinforcement Learning (DRL) bietet eine vielversprechende Alternative, indem es Politiken durch Exploration lernt, jedoch stellen seine Black-Box-Natur und die Abhängigkeit von zufälliger Exploration Herausforderungen in sicherheitskritischen Umgebungen dar. In Anerkennung der komplementären Stärken konventioneller Regler und DRL schlagen wir einen neuartigen hybriden Rahmen vor, um die Herausforderungen sowohl herkömmlicher Steuerungssysteme als auch von DRL zu überwinden. Dieses Framework integriert Residual Policy Learning, einen Zyklus von Lernansätzen, und einen spezialisierten Reinforcement Learning-Agenten für sicherheitskritische, kontinuierliche Steuerung. Residual Policy Learning ermöglicht die Zusammenarbeit zwischen DRL und konventionellen Reglern, der Lernzyklus verbessert die Lerneffizienz durch Nutzung von Expertenverläufen, und ein spezialisierter Reinforcement Learning-Agent optimiert das Policy-Lernen in kritischen Zuständen mit einem Eingabe-Ausgabe versteckten Markov-Modell. Das Framework wird am Tennessee Eastman-Prozess validiert durch Experimente, die Synchronisation, Aktivierungsmechanismen und eine Ablationsstudie analysieren.