Apprentissage d'imitation interactif en robotique : une enquête

L'apprentissage d'imitation interactif (IIL) est une branche de l'apprentissage par imitation (IL) où des retours humains sont fournis de manière intermittente pendant l'exécution du robot, permettant une amélioration en ligne du comportement du robot. Au cours des dernières années, l'IIL a de plus en plus commencé à se forger sa propre identité en tant qu'alternative prometteuse basée sur les données pour résoudre des tâches robotiques complexes. Les avantages de l'IIL sont doubles : 1) il est efficace en termes de données, car le retour humain guide le robot directement vers un comportement amélioré (contrairement à l'apprentissage par renforcement (RL), où les comportements doivent être découverts par essais et erreurs), et 2) il est robuste, car le décalage de distribution entre les trajectoires de l'enseignant et de l'apprenant est minimisé en fournissant des retours directement sur les trajectoires de l'apprenant (à l'opposé des méthodes IL hors ligne telles que le clonage comportemental). Néanmoins, malgré les opportunités que présente l'IIL, sa terminologie, sa structure et son applicabilité ne sont pas claires ni unifiées dans la littérature, freinant ainsi son développement et, par conséquent, la recherche de formulations et de découvertes innovantes. Dans ce travail, nous cherchons à faciliter la recherche en IIL et à abaisser les barrières d'entrée pour les nouveaux praticiens en fournissant une enquête sur le domaine qui l'unifie et le structure. De plus, nous visons à sensibiliser à son potentiel, ce qui a été accompli et quelles sont encore les questions de recherche ouvertes. Nous organisons les travaux les plus pertinents en IIL en termes d'interaction homme-robot (c'est-à-dire, types de retours), d'interfaces (c'est-à-dire, moyens de fournir des retours), d'apprentissage (c'est-à-dire, modèles appris à partir de retours et approximations de fonctions), d'expérience utilisateur (c'est-à-dire, perception humaine du processus d'apprentissage), d'applications et de benchmarks. En outre, nous analysons les similitudes et les différences entre l'IIL et le RL, fournissant une discussion sur la façon dont les concepts d'apprentissage hors ligne, en ligne, hors politique et sur politique devraient être transférés à l'IIL à partir de la littérature RL. Nous nous concentrons particulièrement sur les applications robotiques dans le monde réel et discutons de leurs implications, limitations et domaines de recherche futurs prometteurs.