Distillation Contrastive Decoding : Améliorer le raisonnement des LLMs avec l’encodage contrastif et la distillation

Nous proposons une approche simple appelée Distillation Contrastive Decoding (DCD) pour améliorer les capacités de raisonnement des grands modèles de langage (LLMs) lors de l'inférence. Contrairement aux approches précédentes qui reposaient sur des modèles amateurs plus petits ou l'analyse des différences d'état caché, le DCD utilise le Prompting de chaîne de pensée contrastif et des techniques de distillation avancées, y compris le Dropout et la Quantification. Cette approche traite efficacement les limitations de l'Encodage Contrastif (CD), qui nécessite généralement à la fois un modèle expert et un modèle amateur, augmentant ainsi les demandes en ressources informatiques. En intégrant des prompts contrastifs avec la distillation, le DCD évite le besoin d'un modèle amateur et réduit l'utilisation de la mémoire. Nos évaluations montrent que le DCD améliore significativement les performances des LLM sur une gamme de benchmarks de raisonnement, surpassant à la fois le CD et les méthodes existantes dans les ensembles de données GSM8K et StrategyQA.