GO-DICE : Apprentissage par imitation hors ligne conditionné par un objectif via l'estimation de correction de distribution stationnaire

L'apprentissage par imitation hors ligne (IL) fait référence à l'apprentissage du comportement expert uniquement à partir de démonstrations, sans aucune interaction supplémentaire avec l'environnement. Malgré des avancées significatives dans l'IL hors ligne, les techniques existantes trouvent difficile d'apprendre des politiques pour des tâches à long terme et nécessitent un ré-entraînement significatif lorsque les spécifications des tâches changent. Pour remédier à ces limitations, nous présentons GO-DICE, une technique d'IL hors ligne pour des tâches séquentielles à long terme conditionnées par un objectif. GO-DICE discernent une hiérarchie de sous-tâches à partir de démonstrations et utilise celles-ci pour apprendre des politiques séparées pour les transitions de sous-tâches et l'exécution d'actions, respectivement ; cet apprentissage de politique hiérarchique facilite le raisonnement à long terme. Inspiré par l'expansive famille de techniques DICE, l'apprentissage de politiques aux deux niveaux se déroule dans l'espace des distributions stationnaires. De plus, les deux politiques sont apprises avec une conditionnement par objectif pour minimiser le besoin de réentraînement lorsque les objectifs de tâche changent. Les résultats expérimentaux attestent que GO-DICE surpasse des bases de référence récentes, comme en témoigne une amélioration marquée du taux d'achèvement des tâches robotiques Mujoco de prise et de placement de plus en plus difficiles. GO-DICE est également capable de tirer parti de démonstrations imparfaites et de segmentation partielle des tâches lorsque disponible, ce qui améliore les performances des tâches par rapport à l'apprentissage à partir de démonstrations d'experts uniquement.