MUD: Hacia un Conjunto de Datos de UI a Gran Escala y Filtrado de Ruido para Modelado de UI de Estilo Moderno

La importancia del modelado computacional de interfaces de usuario móviles (UIs) es innegable. Sin embargo, estos requieren un conjunto de datos de UI de alta calidad. Los conjuntos de datos existentes a menudo están desactualizados, recolectados hace años, y frecuentemente tienen ruido debido a desajustes en su representación visual. Esto presenta desafíos en el modelado de la comprensión de la UI en el mundo real. Este documento introduce un enfoque novedoso para extraer datos de UI automáticamente de aplicaciones de Android, aprovechando Modelos de Lenguaje Grande (LLMs) para imitar la exploración humana. Para asegurar la calidad del conjunto de datos, empleamos las mejores prácticas en filtrado de ruido de UI e incorporamos la anotación humana como un paso final de validación. Nuestros resultados demuestran la efectividad de la exploración mejorada por LLMs en la minería de UIs más significativas, resultando en un amplio conjunto de datos MUD de 18k UIs anotadas por humanos provenientes de 3.3k aplicaciones. Destacamos la utilidad de MUD en dos tareas comunes de modelado de UI: detección de elementos y recuperación de UI, mostrando su potencial para establecer una base para futuras investigaciones en UIs modernas de alta calidad.