Otimização de SFC Orientada à Tolerância a Falhas em Ambiente de Nuvem Habilitada por SDN/NFV Baseada em Aprendizado por Reforço Profundo

Em um ambiente de nuvem habilitado por rede definida por software/virtualização de funções de rede (SDN/NFV), os serviços em nuvem podem ser implementados como cadeias de funções de serviço (SFCs), que consistem em uma série de funções de rede virtuais ordenadas. No entanto, devido a flutuações no tráfego da nuvem e sem conhecimento da configuração da rede de computação em nuvem, projetar uma abordagem de otimização de SFC para obter serviços de nuvem flexíveis em um ambiente de nuvem dinâmico é um desafio crucial. Neste artigo, propomos uma abordagem de otimização de SFC orientada à tolerância a falhas baseada em aprendizado por reforço profundo. Modelamos o problema de otimização elástica de SFC orientada à tolerância a falhas como um processo de decisão de Markov, no qual a recompensa é modelada como uma função ponderada, incluindo a minimização do consumo de energia e do custo de migração, maximização do benefício de receita e balanceamento de carga. Em seguida, tomando o modelo de programação inteira binária como restrições de qualidade dos serviços em nuvem, projetamos abordagens de otimização para rede Q profunda de agente único (SADDQN) e DDQN de múltiplos agentes (MADDQN). Entre elas, o MADDQN descentraliza as tarefas de treinamento do plano de controle para o plano de dados para reduzir a probabilidade de um ponto único de falha para o controlador centralizado. Resultados experimentais mostram que as abordagens projetadas têm melhor desempenho. O MADDQN pode quase alcançar o limite superior da solução teórica obtida ao assumir um conhecimento prévio da dinâmica do tráfego em nuvem.