HackAtari：用于稳健和持续强化学习的Atari学习环境

人工智能体对新奇事物的适应性及其与预期行为的一致性对于有效部署至关重要。强化学习（RL）利用新奇作为探索的手段，但代理在处理新情况时常常面临困难，从而阻碍了泛化。为了解决这些问题，我们提出了HackAtari，这是一种在最常用的RL基准环境Atari学习环境中引入受控新奇的框架。HackAtari使我们能够创建新的游戏场景（包括针对课程学习的简化），交换游戏元素的颜色，并为代理引入不同的奖励信号。我们表明，在原始环境上训练的当前代理存在稳健性失败，并通过使用C51和PPO进行实验来评估HackAtari在增强RL代理稳健性和对齐行为方面的有效性。总体而言，HackAtari可用于提高当前和未来RL算法的稳健性，允许神经符号RL、课程RL、因果RL以及基于LLM的RL。我们的工作强调了发展可解释的RL代理的重要性。