将基于规则的强化学习（RL）应用于多模态大型语言模型（MLLM）带来了独特的挑战，并可能与仅文本领域的发现存在偏差，特别是在感知密集型任务中。本文提供了基于规则的视觉RL的全面研究，以拼图作为结构化实验框架。拼图提供了固有的真实数据、可调节的难度，并需要复杂的决策，使其成为本研究的理想选择。我们的研究揭示了几个关键发现：首先，我们发现MLLM在最简单的拼图上最初的表现接近随机猜测，通过微调后达到了近乎完美的准确性并能够推广到复杂的、未见过的配置。其次，拼图训练可以引发对其他视觉任务的泛化，其有效性与特定任务配置相关。第三，MLLM可以在有或没有明确推理的情况下学习和泛化，尽管开源模型通常倾向于直接回答。因此，即使经过逐步推理训练，它们在推导最终答案时也可能忽视思考过程。第四，我们观察到复杂的推理模式似乎是预先存在的，而非新出现的，随着训练和任务难度的增加，它们的频率也在上升。最后，我们的结果表明RL的泛化效果优于监督微调（SFT），初始的SFT冷启动阶段可能阻碍后续的RL优化。虽然这些观察是基于拼图的，可能在其他视觉任务中有所不同，但这项研究为集体理解基于规则的视觉RL及其在多模态学习中的潜力提供了一块重要的拼图。代码可在以下网址获取：https://github.com/zifuwanggg/Jigsaw-R1.
王等（周四）研究了这个问题。