Decodificación Contrastiva por Destilación: Mejorando el Razonamiento de los LLMs con Decodificación Contrastiva y Destilación

Proponemos un enfoque sencillo llamado Decodificación Contrastiva por Destilación (DCD) para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grande (LLMs) durante la inferencia. A diferencia de enfoques anteriores que se basaban en modelos amateurs más pequeños o en el análisis de diferencias en estados ocultos, DCD emplea Técnicas de Sugerencia de Cadena de Pensamiento Contrastivo y técnicas avanzadas de destilación, incluyendo Dropout y Cuantización. Este enfoque aborda efectivamente las limitaciones de la Decodificación Contrastiva (CD), que generalmente requiere tanto un modelo experto como uno amateur, aumentando así las demandas de recursos computacionales. Al integrar sugerencias contrastivas con la destilación, DCD elimina la necesidad de un modelo amateur y reduce el uso de memoria. Nuestras evaluaciones demuestran que DCD mejora significativamente el rendimiento de los LLM en una variedad de puntos de referencia de razonamiento, superando tanto a CD como a métodos existentes en los conjuntos de datos GSM8K y StrategyQA.