Deep-Reinforcement-Learning-gestützte Spectrum Ressourcennutzung für das industrielle Internet der Dinge

Das industrielle Internet der Dinge (IIoT) hat sowohl in der Industrie als auch in der Wissenschaft enormes Interesse geweckt, da es die Produktionseffizienz und Systemintelligenz erheblich verbessern kann. Allerdings erlebt das IIoT aufgrund des explosiven Wachstums verschiedener Arten von Benutzergeräten (UE) und Datenflüssen eine Knappheit an Spektrumressourcen für drahtlose Anwendungen. In diesem Artikel schlagen wir eine Lösung für das Spektrumressourcenmanagement im IIoT-Netzwerk vor, mit dem Ziel, das eingeschränkte Spektrumsharing zwischen verschiedenen UEs zu erleichtern. Um die Herausforderungen unbekannter dynamischer IIoT-Umgebungen zu überwinden, wird ein modifiziertes Deep Q-Learning-Netzwerk (MDQN) entwickelt. Unter Berücksichtigung der Kostenwirksamkeit von IIoT-Geräten fungiert die Basisstation (BS) als einzelner Agent und verwaltet zentral die Spektrumressourcen, die ohne Koordination oder Austausch zwischen UEs ausgeführt werden können. In diesem Artikel bauen wir zunächst ein realistisches IIoT-Modell auf und entwerfen eine einfache Medium Access Control (MAC)-Rahmenstruktur, um die Beobachtung des Umweltzustands zu erleichtern. Danach wird eine neue Belohnungsfunktion entwickelt, um den Lernprozess zu steuern, die die unterschiedlichen Kommunikationsanforderungen verschiedener Arten von UEs berücksichtigt. Darüber hinaus komprimieren wir den Aktionsraum, um die Effizienz des Lernens zu verbessern, und schlagen eine Prioritäts-Erfahrungswiedergabestrategie basierend auf abnehmendem zeitlichem Unterschied (TD)-Fehler vor. Schließlich zeigen die Simulationsergebnisse, dass der vorgeschlagene Algorithmus erfolgreich ein dynamisches Spektrumressourcenmanagement im IIoT-Netzwerk erreichen kann. Im Vergleich zu anderen Algorithmen kann es mit einer schnelleren Konvergenzrate eine überlegene Netzwerkleistung erzielen.