Anticipation d'Action à Long Terme Basée sur l'Alignement Contextuel

Dans l'anticipation d'action, le modèle prédit la prochaine action future après une certaine période d'observation. Dans l'anticipation d'action à long terme, cette idée est davantage étendue pour prédire plusieurs actions et leur durée respective. Ainsi, dans ce cadre problématique, le modèle doit non seulement capturer les relations entre les actions passées mais aussi prédire plusieurs actions futures qui s'intègrent dans un certain contexte. Comparé aux modèles autorégressifs, notre modèle utilise une structure d'encodeur-décodeur pour déterminer les actions et durées futures en parallèle, ce qui empêche l'accumulation des erreurs de prédiction et réduit le temps d'inférence. De plus, il est assuré que les actions prédites sont alignées par rapport à une représentation contextuelle, ce qui ressemble à la façon dont les humains abordent cette tâche, car l'ensemble d'actions réalisables est restreint par le contexte respectif. Nous évaluons notre modèle sur les ensembles de données de référence d'anticipation à long terme, Breakfast et 50Salads, où nous atteignons des résultats de pointe.