Apprentissage de politiques basé sur la confiance à partir de démonstrations utilisant des modèles de mélanges gaussiens

Nous proposons une approche d'apprentissage de politiques interactif par démonstration d'experts qui permet à un agent de demander activement et de représenter efficacement des exemples de démonstration. Pour aborder l'incertitude inhérente à la démonstration humaine, nous représentons la politique comme un ensemble de modèles de mélanges gaussiens (GMM), où chaque modèle, avec plusieurs composants gaussiens, correspond à une action unique. Les exemples de démonstration reçus de manière incrémentale sont utilisés comme données d'entraînement pour l'ensemble de GMM. Nous introduisons ensuite notre approche d'exécution confiante, qui concentre l'apprentissage sur les parties pertinentes du domaine en permettant à l'agent d'identifier le besoin et de demander des démonstrations pour des parties spécifiques de l'espace d'état. L'agent choisit entre la démonstration et l'exécution autonome sur la base d'une analyse statistique de l'incertitude de l'ensemble de mélange gaussien appris. À mesure qu'il acquiert de la compétence dans sa tâche et gagne en confiance dans ses actions, l'agent fonctionne avec une autonomie croissante, éliminant le besoin de démonstrations inutiles sur des comportements déjà acquis, réduisant ainsi le temps d'entraînement et la charge de travail de démonstration de l'expert. Nous validons notre approche par des expériences dans des domaines robotiques simulés et réels.