DigiRL: Entrenamiento de Agentes de Control de Dispositivos en el Mundo Real con Aprendizaje por Refuerzo Autónomo

Los corpus de entrenamiento para modelos de lenguaje visual (VLMs) generalmente carecen de cantidades suficientes de datos centrados en la toma de decisiones. Esto convierte a los VLMs convencionales en opciones subóptimas para tareas de toma de decisiones como el control de dispositivos en el mundo real a través de interfaces gráficas de usuario (GUIs). Aunque el entrenamiento con demostraciones estáticas ha mostrado cierta promesa, demostramos que tales métodos son insuficientes para controlar GUIs reales debido a su incapacidad para lidiar con la estocasticidad y no estacionariedad del mundo real que no se capturan en datos de observación estática. Este documento presenta un nuevo enfoque de RL autónomo, llamado DigiRL, para entrenar agentes de control de dispositivos en el mundo real mediante el ajuste fino de un VLM preentrenado en dos etapas: RL offline para inicializar el modelo, seguido de RL de offline a online. Para ello, construimos un entorno de aprendizaje de Android escalable y paralelizable equipado con un evaluador basado en VLM y desarrollamos un enfoque de RL simple pero efectivo para aprender en este dominio. Nuestro enfoque ejecuta RL ponderado por ventaja con estimadores de ventaja mejorados para tener en cuenta la estocasticidad junto con un currículo automático para derivar la señal de aprendizaje máxima. Demostramos la efectividad de DigiRL utilizando el conjunto de datos Android-in-the-Wild (AitW), donde nuestro VLM de 1.3B entrenado con RL logra una mejora absoluta del 49.5% -- de un 17.7 a un 67.2% de tasa de éxito -- en comparación con el ajuste fino supervisado con datos de demostración humana estática. Estos resultados superan significativamente no solo a los mejores agentes anteriores, incluido AppAgent con GPT-4V (8.3% de tasa de éxito) y el CogAgent de 17B entrenado con datos de AitW (38.5%), sino también al mejor enfoque de RL autónomo anterior basado en clonación de comportamiento filtrada (57.8%), estableciendo así un nuevo estado del arte para agentes digitales para el control de dispositivos en el mundo real.