GUICourse: Von allgemeinen Vision Language Modellen zu vielseitigen GUI-Agenten

Die Nutzung von grafischen Benutzeroberflächen (GUI) für die Mensch-Computer-Interaktion ist entscheidend für den Zugriff auf eine Vielzahl digitaler Werkzeuge. Neueste Fortschritte bei Vision Language Modellen (VLMs) zeigen das vielversprechende Potenzial, vielseitige Agenten zu entwickeln, die Menschen bei der Durchführung von GUI-Navigationsaufgaben unterstützen. Aktuelle VLMs stehen jedoch vor Herausforderungen hinsichtlich grundlegender Fähigkeiten (OCR und Verankerung) sowie GUI-Wissen (die Funktionen und Steuerungsmethoden von GUI-Elementen), was sie daran hindert, praktische GUI-Agenten zu werden. Um diese Herausforderungen zu lösen, tragen wir GUICourse bei, eine Sammlung von Datensätzen zur Schulung visuell basierter GUI-Agenten aus allgemeinen VLMs. Zunächst stellen wir den GUIEnv-Datensatz vor, um die OCR- und Verankerungsfähigkeiten der VLMs zu stärken. Danach stellen wir die Datensätze GUIAct und GUIChat vor, um deren Wissen über GUI-Komponenten und Interaktionen zu bereichern. Experimente zeigen, dass unsere GUI-Agenten eine bessere Leistung bei häufigen GUI-Aufgaben erzielen als ihre Basis-VLMs. Selbst der kleinformatige GUI-Agent (mit 3,1 Milliarden Parametern) kann bei einfachen und mehrschrittigen GUI-Aufgaben gut abschneiden. Schließlich analysieren wir die verschiedenen Variationen in der Trainingsphase dieses Agenten durch eine Ablationsstudie. Unser Quellcode und die Datensätze sind unter https://github.com/yiye3/GUICourse verfügbar.