Lire n'importe où Pointé : Lecture d'écran GUI sensible à la mise en page avec Tree-of-Lens Ancrage

Les interfaces graphiques (GUI) sont essentielles à notre interaction avec les appareils numériques. Récemment, des efforts croissants ont été déployés pour construire des modèles pour diverses tâches de compréhension des GUI. Cependant, ces efforts négligent largement une tâche importante liée aux GUI : la lecture d'écran basée sur des points indiqués par l'utilisateur, que nous nommons la tâche de Point-et-Lire d'Écran (SPR). Cette tâche est principalement traitée par des outils de lecture d'écran accessibles rigides, ayant grand besoin de nouveaux modèles tirés des avancées des Modèles de Langage Large Multimodal (MLLM). Dans cet article, nous proposons un agent Tree-of-Lens (ToL), utilisant un nouveau mécanisme d'ancrage ToL, pour aborder la tâche SPR. En fonction des coordonnées du point d'entrée et de la capture d'écran correspondante, notre agent ToL construit un Arbre Hiérarchique de Mise en Page. Sur la base de l'arbre, notre agent ToL comprend non seulement le contenu de la zone indiquée mais articule également la mise en page et les relations spatiales entre les éléments. Ces informations de mise en page sont cruciales pour interpréter avec précision les informations à l'écran, distinguant notre agent ToL des autres outils de lecture d'écran. Nous évaluons également en profondeur l'agent ToL par rapport à d'autres références sur un nouvel étalon de SPR proposé, qui inclut des GUI provenant de systèmes mobiles, web et d'exploitation. Enfin, nous testons l'agent ToL sur des tâches de navigation GUI mobiles, démontrant son utilité pour identifier des actions incorrectes le long du chemin des trajectoires d'exécution de l'agent. Code et données : screen-point-and-read.github.io