Globale Optimalität ohne Mischzeit-Orakel in Average-reward RL über Multi-level Actor-Critic

Im Kontext des durchschnittlichen Belohnungs-Verstärkungslernens stellt die Anforderung an Oracle-Wissen über die Mischzeit – ein Maß für die Dauer, die eine Markov-Kette unter einer festen Politik benötigt, um ihre stationäre Verteilung zu erreichen – eine erhebliche Herausforderung für die globale Konvergenz von Policy-Gradient-Methoden dar. Diese Anforderung ist besonders problematisch aufgrund der Schwierigkeiten und Kosten, die mit der Schätzung der Mischzeit in Umgebungen mit großen Zustandsräumen verbunden sind, was die Notwendigkeit von impraktisch langen Trajektorien für eine effektive Gradientenschätzung in praktischen Anwendungen mit sich bringt. Um diese Einschränkung zu adressieren, betrachten wir den Multi-level Actor-Critic (MAC)-Rahmen, der einen Multi-level Monte Carlo (MLMC) Gradientenschätzer integriert. Mit unserem Ansatz verringern wir effektiv die Abhängigkeit vom Wissen über die Mischzeit, was ein Novum für die globale Konvergenz von durchschnittlichen Belohnungs-MDPs darstellt. Darüber hinaus zeigt unser Ansatz die engste verfügbare Abhängigkeit von O (₌₈ₗ) im Vergleich zu früheren Arbeiten. Mit einem 2D-Gitterwelt-Zielerreichungsexperiment zeigen wir, dass MAC eine höhere Belohnung erzielt als eine frühere PG-basierte Methode für die durchschnittliche Belohnung, der Parameterisierte Policy-Gradient mit Vorteilsschätzung (PPGAE), insbesondere in Fällen mit relativ kleinem Trainingsmusterbudget, das die Trajektolenlänge einschränkt.