可视即修复：利用多模态大型语言模型进行视觉软件问题修复的跨模态推理

Key Points

• 本研究旨在开发一种系统化的方法，通过跨模态推理自动解决视觉软件问题。
• 引入了GUIRepair，一个跨模态推理框架。
• 利用文本和视觉数据之间的双向转换。
• 将该框架应用于多模态GitHub问题。
• 使用SWE-bench M基准测试评估性能。
• 通过使用GPT-4o实现了157个解决实例的最先进性能。
• 在评估中使用o4-mini解决了175个实例。
• 证明了多模态方法的有效性。