Zusammenfassung Reinforcement Learning (RL) ist entscheidend für die Entscheidungsfindung in der Datenwissenschaft, leidet jedoch unter Probenineffizienz, insbesondere in realen Szenarien mit kostspieligen physischen Interaktionen. Dieser Artikel stellt ein neuartiges menscheninspiriertes Rahmenkonzept vor, um die Probenineffizienz des RL-Algorithmus zu verbessern. Dies wird erreicht, indem der Lernagent zunächst einfacheren Aufgaben ausgesetzt wird, die schrittweise in der Komplexität zunehmen und letztendlich zur Hauptaufgabe führen. Diese Methode erfordert kein Vortraining und umfasst das Lernen einfacher Aufgaben nur für eine Episode. Das resultierende Wissen kann verschiedene Ansätze des Transferlernens erleichtern, wie z.B. Wert- und Politiktransfer, ohne die rechnerische Komplexität zu erhöhten. Sie kann über verschiedene Ziele, Umgebungen und RL-Algorithmen hinweg angewendet werden, einschließlich wertbasierter, politikbasierter, tabellarischer und tiefer RL-Methoden. Experimentelle Auswertungen zeigen die Wirksamkeit des Rahmenkonzepts zur Verbesserung der Probenineffizienz, insbesondere bei herausfordernden Hauptaufgaben, die sowohl durch einen einfachen Zufallsweg als auch durch komplexere optimale Steuerprobleme mit Einschränkungen demonstriert werden.
Beikmohammadi et al. (Fri,) haben diese Frage untersucht.