Defesa ótima baseada em aprendizagem por reforço profundo para sistema ciber-físico na presença de ataque cibernético desconhecido

Neste artigo, o problema de defesa cibernética ótima online foi investigado para Sistemas Ciber-Físicos (CPS) com ataques cibernéticos desconhecidos. Primeiramente, uma nova dinâmica de estado cibernético foi gerada, que pode avaliar os impactos em tempo real das atuais estratégias de ataque e defesa cibernéticas de forma eficaz e dinâmica. Em seguida, adotando a técnica de teoria dos jogos, o projeto de defesa ótima pode ser obtido usando o pleno conhecimento da dinâmica do estado cibernético. Para relaxar a exigência sobre a dinâmica do estado cibernético, uma estrutura de rede neural ator-crítico baseada em teoria dos jogos foi desenvolvida para aprender de forma eficiente a estratégia de defesa cibernética ótima online. Além disso, para melhorar ainda mais a praticidade do esquema desenvolvido, um novo algoritmo de aprendizagem por reforço profundo foi projetado e implementado na estrutura de rede neural ator-crítico. Eventualmente, a simulação numérica demonstra que a estratégia proposta de defesa ótima baseada em aprendizagem por reforço profundo não só defende online o CPS, mesmo na presença de ataques cibernéticos desconhecidos, mas também aprende a política de defesa ótima de forma mais precisa e oportuna.