Transfert de politique inter-domaines avec cohérence de cycle d'effet

Former une politique robotique à partir de zéro en utilisant des méthodes d'apprentissage par renforcement profond peut être prohibitivement coûteux en raison de l'inefficacité des échantillons. Pour relever ce défi, le transfert de politiques formées dans le domaine source vers le domaine cible devient un paradigme attrayant. Les recherches précédentes se sont généralement concentrées sur des domaines avec des espaces d'état et d'action similaires mais différemment dans d'autres aspects. Dans cet article, notre attention principale se porte sur des domaines avec des espaces d'état et d'action différents, ce qui a des implications pratiques plus larges, c'est-à-dire transférer la politique du robot A au robot B. Contrairement aux méthodes antérieures qui s'appuient sur des données appariées, nous proposons une nouvelle approche pour apprendre les fonctions de correspondance entre les espaces d'état et d'action à travers les domaines en utilisant des données non appariées. Nous proposons la cohérence de cycle d'effet, qui aligne les effets des transitions à travers deux domaines grâce à une structure d'optimisation symétrique pour l'apprentissage de ces fonctions de correspondance. Une fois les fonctions de correspondance apprises, nous pouvons transférer sans problème la politique du domaine source au domaine cible. Notre approche a été testée sur trois tâches de locomotion et deux tâches de manipulation robotique. Les résultats empiriques montrent que notre méthode peut réduire considérablement les erreurs d'alignement et obtenir de meilleures performances par rapport à la méthode de pointe.