Curriculum guidé par la logique de résolution de problèmes pour l'apprentissage en contexte des raisonnements complexes des LLMs

L'apprentissage en contexte (ICL) peut considérablement améliorer les capacités de raisonnement complexe des modèles de langage de grande taille (LLMs), la clé résidant dans la sélection et l'ordre des exemples de démonstration. Les méthodes précédentes reposaient généralement sur des caractéristiques simples pour mesurer la pertinence entre les exemples. Nous soutenons que ces caractéristiques ne sont pas suffisantes pour refléter les connexions intrinsèques entre les exemples. Dans cette étude, nous proposons une stratégie ICL guidée par la logique de résolution de problèmes. Nous sélectionnons des exemples de démonstration en analysant la logique de résolution de problèmes et les ordonnons en fonction de l'apprentissage par curriculum. Plus précisément, nous avons construit un ensemble d'instructions sur la logique de résolution de problèmes basé sur le jeu de données BREAK et affiné un modèle de langage pour analyser la logique de résolution de problèmes des exemples. Par la suite, nous avons sélectionné des exemples de démonstration appropriés sur la base de la logique de résolution de problèmes et évalué leur difficulté en fonction du nombre d'étapes de résolution de problèmes. Conformément aux principes de l'apprentissage par curriculum, nous avons ordonné les exemples de facile à difficile pour servir de prompts contextuels. Les résultats expérimentaux sur plusieurs repères indiquent que notre méthode surpasse les approches ICL précédentes en termes de performance et d'efficacité, améliorant efficacement les capacités de raisonnement complexe des LLMs. Notre projet sera publié à l'adresse https://github.com/maxuetao/CurriculumICL