POEM : Optimisation interactive des invites pour améliorer le raisonnement multimodal des grands modèles de langue

Les grands modèles de langue (LLMs) ont montré des capacités impressionnantes pour la compréhension et le raisonnement de contenu multimodal avec un bon prompting dans des contextes zéro ou peu d'exemples. Malgré la prolifération de systèmes interactifs développés pour soutenir l'ingénierie des invites pour les LLMs dans diverses tâches, la plupart se sont principalement concentrés sur des entrées textuelles ou visuelles, négligeant ainsi l'interaction complexe entre les modalités au sein des entrées multimodales. Cette omission entrave le développement d'invites efficaces qui guident les processus de raisonnement multimodal du modèle en exploitant pleinement le riche contexte fourni par plusieurs modalités. Dans cet article, nous présentons POEM, un système d'analytique visuelle pour faciliter l'ingénierie efficace des invites visant à améliorer la performance de raisonnement multimodal des LLMs. Le système permet aux utilisateurs d'explorer les schémas d'interaction entre les modalités à différents niveaux de détail pour une compréhension globale des connaissances multimodales extraites par différentes invites. Grâce à des recommandations diverses d'exemples de démonstration et de principes pédagogiques, POEM aide les utilisateurs à élaborer et affiner progressivement les invites pour mieux aligner et améliorer les connaissances du modèle avec les perspectives humaines. L'efficacité et l'efficience de notre système sont validées par le biais de deux études de cas et d'entretiens avec des experts.