Topologische Zerlegungen verbessern die Effizienz des Reinforcement Learning

Die Koordination mehrerer Sensoren kann als ein Problem des Reinforcement Learning (RL) ausgedrückt werden. Deep RL hat bei der Verarbeitung von Beobachtungen (zum Beispiel durch die Verwendung von Faltungsnetzwerken zur Verarbeitung von gitterbasierten Daten) hervorragende Leistungen erbracht, leidet jedoch an Probenineffizienz. Um dieses Problem zu lösen, zerlegen wir den gesamten Beobachtungsraum topologisch in überlappende Komponenten, indem wir die Erkennung von Zufällen oder räumlicher Nähe der Sensoren nutzen, um eine geschichtete Zerlegung zu erstellen. Indem wir dem RL-Agenten ermöglichen, im Kontext dieser Zerlegung zu lernen und davon durch Aktionsmaskierung zu profitieren, erzielen wir positive Belohnungen und effiziente Gewinne im Lernprozess. Wir demonstrieren Leistungs- und Effizienzgewinne durch mehrere Experimente mit einer maßgeschneiderten Spieleimplementierung, die RLlib, Griddly und Gymnasium kombiniert. Wir ziehen Analogien zwischen unseren Spielen und allgemeineren Zufällen im Wahrnehmungsraum, der Zeit oder der Modalität. Wir stellen fest, dass unsere Zerlegung mit modernen RL-Algorithmen kombiniert werden kann, um leistungsstarke Sensorsteuerungspolitiken zu lernen, und unser Prozess gut skalierbar ist, wenn die Anzahl der Sensoren zunimmt.