Ressourcenzuteilung und Energieeffizienzoptimierung auf der Basis von Reinforcement Learning für ein integriertes Netzwerk aus Raum-Luft-Boden.

Mit dem Aufbau und der Entwicklung des Smart Grids stellt das Energiegeschäft höhere Anforderungen an die Kommunikationsfähigkeit des Netzwerks. Um die Energieeffizienz des integrierten dreidimensionalen Fusion-Kommunikationsnetzwerks für Energie aus Raum, Luft und Boden zu verbessern, stellen wir ein Optimierungsproblem für die gemeinsame Auswahl des Flugpfads der Luftplattform (AP), die Zuordnung von Bodenenergieanlagen (GPF) und die Leistungssteuerung auf. Bei der Lösung des Problems zerlegen wir es in zwei Teilprobleme: das Teilproblem der Auswahl des Flugpfads der AP und das Teilproblem der Zuordnung von GPF und Leistungssteuerung. Zunächst modellieren wir das Teilproblem der Auswahl des Flugpfads der AP als Markov-Entscheidungsprozess (MDP) und schlagen einen iterativen Multi-Agenten-Optimierungsalgorithmus vor, der auf der umfassenden Beurteilung der GPF-Positionen und Arbeitslast basiert. Zweitens modellieren wir das Teilproblem der Zuordnung von GPF und Leistungssteuerung als ein Multi-Agenten, zeitvariierendes K-armed Banditenmodell und schlagen einen Algorithmus basierend auf Multi-Agenten Temporal Difference (TD) Lernen vor. Dann schlagen wir durch abwechselndes Iterieren zwischen den beiden Teilproblemen einen auf Reinforcement Learning (RL) basierenden gemeinsamen Optimierungsalgorithmus vor. Schließlich zeigen die Simulationsergebnisse, dass der vorgeschlagene Algorithmus im Vergleich zu den drei Basisalgorithmen (zufälliger Pfad, durchschnittliche Sendeleistung und zufällige Gerätezuteilung) die Gesamtenergieeffizienz des Systems unter verschiedenen Bedingungen (einschließlich unterschiedlicher Rauschpegel, GPF-Bandbreite und GPF-Mengen) um 16,23%, 86,29% und 5,11% verbessert.