Effizientes und skalierbares Reinforcement Learning für die Kontrolle großer Netzwerke

Die primäre Herausforderung bei der Entwicklung großer künstlicher Intelligenz (KI)-Systeme liegt darin, skalierbare Entscheidungsfindung zu erreichen – die KI-Modelle zu erweitern und dabei eine ausreichende Leistung aufrechtzuerhalten. Vorhandene Forschungen zeigen, dass verteilte KI die Skalierbarkeit verbessern kann, indem komplexe Aufgaben zerlegt und über kollaborative Knoten verteilt werden. Frühere Technologien litten jedoch unter einer eingeschränkten Anwendbarkeit in der realen Welt und Skalierbarkeit aufgrund des massiven Bedarfs an Kommunikation und gesampleten Daten. Hier entwickeln wir ein modellbasiertes, dezentralisiertes Richtlinienoptimierungsframework, das effizient in Multi-Agenten-Systemen eingesetzt werden kann. Durch die Nutzung lokaler Beobachtungen durch die agentenebene topologische Entkopplung globaler Dynamiken beweisen wir, dass dieser dezentrale Mechanismus genaue Schätzungen globaler Informationen erreicht. Wichtig ist, dass wir zusätzlich das Modelllernen einführen, um die optimale Richtlinie für monotone Verbesserungen mit einer begrenzten Menge an gesampleten Daten zu verstärken. Empirische Ergebnisse in verschiedenen Szenarien zeigen die überlegene Skalierbarkeit unseres Ansatzes, insbesondere in realen Systemen mit Hunderten von Agenten, und eröffnen damit den Weg zur Skalierung von KI-Systemen. Die Anwendung großer KI-Systeme auf Multi-Agenten-Szenarien in realen Umgebungen ist herausfordernd. Die Autoren schlagen ein dezentralisiertes, modellbasiertes Richtlinienoptimierungsframework vor, um skalierbare Entscheidungsfindung zu ermöglichen.