Key points are not available for this paper at this time.
Les grands modèles de langage (LLMs) ont récemment reçu une attention considérable en tant que solutions alternatives pour la planification des tâches. Cependant, comparer les performances des planificateurs de tâches orientés vers le langage devient difficile, et il existe un manque d'exploration détaillée concernant les effets de divers facteurs tels que la sélection du modèle pré-entraîné et la construction des invites. Pour y remédier, nous proposons un système de référence pour quantifier automatiquement les performances de la planification des tâches pour les agents incarnés de services à domicile. Les planificateurs de tâches sont testés sur deux paires de jeux de données et de simulateurs : 1) ALFRED et AI2-THOR, 2) une extension de Watch-And-Help et VirtualHome. En utilisant le système de référence proposé, nous effectuons des expériences approfondies avec des LLMs et des invites, et explorons plusieurs améliorations du planificateur de base. Nous espérons que l'outil de référence proposé accélérera le développement des planificateurs de tâches orientés vers le langage.
Choi et al. (Mon,) ont étudié cette question.