通过概率上下文变量实现高效的离政策元强化学习

深度强化学习算法需要大量个体任务的经验。而理论上，元强化学习（meta-RL）算法使代理能够从少量经验中学习新技能，但几个主要挑战阻碍了它们的实用性。目前严重依赖于在政策的经验，限制了其样本效率。此外，在适应新任务时缺乏推理任务不确定性的机制，这限制了它们在稀疏奖励问题中的有效性。在本文中，解决这些挑战，开发了一种离政策元-RL算法，进行任务推理和控制。在我们的方法中，我们在线过滤潜在任务变量以推断如何从少量经验中解决新任务。这种概率解释用于有结构和高效的探索。我们还探讨了如何将这些任务变量与离政策RL算法相结合，以实现元训练和适应的高效性。我们的方法在样本效率上超越了其他算法20-100倍，并在几个元-RL基准测试中表现出渐近优势。