Double Deep Q-Network Nächste Generation Cyber-Physische Systeme: Ein verstärkendes Lernfähiges Anomalieerkennungsframework für Cyber-Physische Systeme der nächsten Generation

In dieser Arbeit betrachteten wir das Problem der Anomalieerkennung in Cyber-Physischen Systemen der nächsten Generation (NG-CPS). Zu diesem Zweck verwendeten wir ein Framework, das durch ein double deep Q-network ermöglicht wird, wobei ein Agent trainiert wurde, um Anomalien im Datenverkehr zu erkennen, die nicht dem Verhalten des legitimen Datenverkehrs am Endpunkt entsprechen. Darüber hinaus erkennt das vorgeschlagene Paradigma bekannte und unbekannte Anomalien, indem es direkt mit einer Simulationsumgebung interagiert. Dabei entwickelt es fortlaufend seine Interpretation von Anomalien weiter, um neue, zuvor nicht erkannte Anomalieklassen zu umfassen, indem es proaktiv wahrscheinliche Anomalien in nicht gekennzeichneten Daten erkundet. Die Methode erreicht dies, indem sie gleichzeitig die Nutzung einer begrenzten Menge an gekennzeichneten Anomaliedaten für ein besseres Verständnis (Exploitation) und die Identifizierung seltener, ungekennzeichneter Anomalien (Exploration) optimiert. Während der Analyse stellten wir fest, dass das vorgeschlagene Modell signifikante Ergebnisse im Kontext der durchschnittlichen und gierigen Auffangung von Anomalien in Anwesenheit vergleichender Modelle erzielt.