Cahier de croquis visuel : dessiner comme une chaîne de pensée visuelle pour les modèles de langage multimodaux

Les humains dessinent pour faciliter le raisonnement : nous traçons des lignes auxiliaires lors de la résolution de problèmes de géométrie ; nous annotons et cerclons lors du raisonnement sur des cartes ; nous utilisons des croquis pour amplifier nos idées et soulager notre mémoire de travail à capacité limitée. Cependant, de telles actions sont absentes dans les modèles de langage multimodaux (LM) actuels. Les paradigmes actuels de chaînes de pensée et d'utilisation d'outils n'utilisent que le texte comme étapes intermédiaires de raisonnement. Dans ce travail, nous présentons Sketchpad, un cadre qui offre aux LM multimodaux un cahier de croquis visuel et des outils pour dessiner sur ce cahier. Le LM conduit la planification et le raisonnement selon les artefacts visuels qu'il a dessinés. Contrairement aux travaux antérieurs, qui utilisent des modèles texte-image pour permettre aux LM de dessiner, Sketchpad permet aux LM de dessiner avec des lignes, des boîtes, des marques, etc., ce qui est plus proche du croquis humain et facilite mieux le raisonnement. Sketchpad peut aussi utiliser des modèles de vision spécialisés pendant le processus de croquis (par exemple, dessiner des boîtes englobantes avec des modèles de détection d'objets, dessiner des masques avec des modèles de segmentation), pour améliorer davantage la perception visuelle et le raisonnement. Nous expérimentons avec une large gamme de tâches mathématiques (y compris géométrie, fonctions, graphiques et échecs) et des tâches complexes de raisonnement visuel. Sketchpad améliore substantiellement les performances sur toutes les tâches par rapport aux modèles de base solides sans croquis, avec un gain moyen de 12,7 % sur les tâches mathématiques, et de 8,6 % sur les tâches visuelles. GPT-4o avec Sketchpad établit un nouvel état de l'art sur toutes les tâches, notamment V*Bench (80,3 %), raisonnement spatial BLINK (83,9 %) et correspondance visuelle (80,8 %). Tous les codes et données sont disponibles sur https://visualsketchpad.github.io/.