Key points are not available for this paper at this time.
Nous explorons un problème d'apprentissage par renforcement fédéré (FRL) où N agents apprennent collaborativement une politique commune sans partager leurs données de trajectoire. À ce jour, les travaux existants sur le FRL se sont principalement concentrés sur des agents opérant dans des environnements identiques ou "similaires". En revanche, notre configuration de problème permet des niveaux d'hétérogénéité d'environnement arbitrairement grands. Pour obtenir la politique optimale qui maximise la performance moyenne à travers tous les environnements potentiellement complètement différents, nous proposons deux algorithmes : FedSVRPG-M et FedHAPG-M. Contrairement aux résultats existants, nous démontrons que les deux algorithmes FedSVRPG-M et FedHAPG-M, qui tirent parti de mécanismes d'élan, peuvent converger exactement vers un point stationnaire de la fonction de performance moyenne, indépendamment de l'ampleur de l'hétérogénéité des environnements. De plus, en incorporant les avantages des techniques de réduction de variance ou d'approximation hessienne, les deux algorithmes atteignent des résultats de convergence à la pointe de la technologie, caractérisés par une complexité d'échantillon de O (^-3{2}/N). Notamment, nos algorithmes bénéficient de gains de vitesse de convergence linéaire par rapport au nombre d'agents, soulignant l'avantage de la collaboration entre agents pour trouver une politique commune.
Wang et al. (mercredi) ont étudié cette question.