Ein Actor-Critic Deep Reinforcement Learning Ansatz für die Übertragungsplanung in kognitiven Internet der Dinge-Systemen

Das kognitive Internet der Dinge (CIoT) hat in letzter Zeit aufgrund seiner breiten Anwendungen in intelligenten Städten, intelligenten Transportsystemen und intelligenten Zählernetzen viel Interesse in drahtlosen Netzwerken geweckt. Wie die Paketübertragung in CIoT-Systemen intelligent geplant werden kann, bleibt jedoch eine entscheidende Herausforderung, nämlich wie man einen intelligenten Agenten entwirft, um die intelligente Entscheidungsfindung und effektive Interoperabilität zu realisieren. In diesem Papier modellieren wir die Systemzustandsveränderung als ein Markov-Entscheidungsprozess und schlagen einen Actor-Critic Deep Reinforcement Learning-Algorithmus vor, der auf einem unscharfen normalisierten radialen Basisfunktions-Neuronalen Netzwerk basiert (genannt AC-FNRBF), um das Problem der intelligenten Übertragungsplanung in CIoT-Systemen unter hochdimensionalen Variablen effizient zu lösen. Der vorgeschlagene AC-FNRBF-Algorithmus kann sowohl die Aktionsfunktion des Actors als auch die Zustands-Aktions-Wertfunktion des Critics besser annähern, ohne dass systemseitiges Vorwissen erforderlich ist, und es wird eine neue Belohnungsfunktion etabliert, um den Systemnutzen zu maximieren, die die Übertragungsrate der Pakete, den Systemdurchsatz, den Energieverbrauch und die Übertragungsverzögerung gemeinsam berücksichtigt. Darüber hinaus hat der AC-FNRBF die Fähigkeit, seine Lernstruktur und Parameter in dynamischen Umgebungen anzupassen. Simulationsergebnisse bestätigen, dass der vorgeschlagene Algorithmus eine höhere Paketübertragungsrate und einen höheren Systemdurchsatz bei geringerem Energieverbrauch und geringerer Übertragungsverzögerung im Vergleich zu anderen bestehenden Reinforcement Learning-Algorithmen erreicht.