O recente DeepSeek-R1 demonstrou o surgimento de capacidades de raciocínio em LLMs por meio de aprendizado por reforço (RL) com recompensas baseadas em regras. Apesar do sucesso em modelos de linguagem, sua aplicação em domínios multimodais, particularmente em tarefas de agentes de interface gráfica do usuário (GUI), permanece pouco explorada. Para abordar essa questão, propomos o UI-R1, a primeira estrutura para explorar como o RL baseado em regras pode aprimorar as capacidades de raciocínio dos modelos de linguagem multimodal (MLLMs) para tarefas de predições de ações em GUI. Especificamente, o UI-R1 introduz uma nova recompensa de ação baseada em regras, permitindo a otimização do modelo por meio de algoritmos baseados em políticas, como a Otimização de Políticas Relativas em Grupo (GRPO). Para um treinamento eficiente, nós organizamos um pequeno, mas de alta qualidade, conjunto de dados de 136 tarefas desafiadoras, abrangendo cinco tipos comuns de ações em dispositivos móveis. Resultados experimentais demonstram que o nosso UI-R1-3B alcança melhorias significativas em relação ao modelo base (ou seja, Qwen2.5-VL-3B) tanto em tarefas dentro do domínio (ID) quanto fora do domínio (OOD), com aumentos de precisão média de 22,1% no ScreenSpot, 6,0% no ScreenSpot-Pro e 12,7% no ANDROIDCONTROL. Além disso, o UI-R1-3B apresenta desempenho competitivo em comparação com modelos maiores (por exemplo, OS-Atlas-7B) treinados por meio de ajuste fino supervisionado (SFT) em 76K amostras. Nós também desenvolvemos uma versão otimizada, UI-R1-E-3B, que melhora significativamente tanto a eficiência de ancoragem quanto a precisão. Estes resultados destacam o potencial do aprendizado por reforço baseado em regras para avançar na compreensão e controle de GUI, abrindo caminho para pesquisas futuras neste domínio. Website do código: https://github.com/lll6gg/UI-R1.
Lu et al. (Qui,) estudaram esta questão.