Seleção de Esquemas de Modulação e Codificação Baseada em Aprendizado por Reforço Profundo em Redes Heterogêneas Cognitivas

Consideramos uma rede heterogênea cognitiva (HetNet), na qual múltiplos pares de usuários secundários adotam abordagens baseadas em sensoriamento para coexistir com um par de usuários primários em uma certa banda de espectro. Devido ao sensoriamento de espectro imperfeito, transmissores secundários (STs) podem causar interferência ao receptor primário (PR), dificultando a seleção de um esquema de modulação e/ou codificação (MCS) adequado pelo PR. Para lidar com essa questão, exploramos o aprendizado por reforço profundo (DRL) e propomos um algoritmo inteligente de seleção de MCS para a transmissão primária. Para reduzir a sobrecarga do sistema causada pelas mudanças de MCS, introduzimos um fator de custo de mudança no algoritmo proposto. Os resultados da simulação mostram que a taxa de transmissão primária do algoritmo proposto sem o fator de custo de mudança é de 90% a 100% do esquema de seleção de MCS ótimo, que assume que a interferência dos STs é perfeitamente conhecida pelo PR como informação prévia, e é 30% maior do que a do algoritmo de bandido de confiança superior (UCB), e 100% maior do que a do algoritmo baseado na relação sinal-ruído (SNR). Enquanto isso, o algoritmo proposto com o fator de custo de mudança pode alcançar uma taxa de transmissão primária mais alta do que as dos algoritmos de referência sem aumentar as sobrecargas do sistema.