Razonamiento mediante cadena de pensamiento en modelos lingüísticos tabulares

La tarea de razonamiento matemático tabular requiere que los modelos realicen operaciones de múltiples pasos, que incluyen la búsqueda de información y el cálculo numérico, a partir de datos heterogéneos procedentes de tablas y preguntas. Las soluciones existentes tienden a extender el razonamiento mediante cadena de pensamiento (CoT) a modelos de lenguaje grandes (LLM) potentes para promover el razonamiento matemático multisalto. Sin embargo, tales enfoques basados en LLM no son una solución viable en el escenario de despliegue privado o con recursos limitados. Para abordar este problema, revisamos los modelos lingüísticos tabulares (TaLM) a pequeña escala y extendemos por primera vez el razonamiento mediante cadena de pensamiento a los TaLM. Específicamente, proponemos un marco novedoso, TaCo, que coordina dos TaLM responsables de la generación de CoT y de la inferencia de respuestas, respectivamente. Además, nuestro marco se puede combinar con una calculadora externa para mejorar la precisión del cálculo numérico. En el conjunto de datos TABMWP, TaCo supera al estado del arte ChatGPT en un 9.55% (82.60%→92.15% en precisión) con muchos menos parámetros (0.8B). El código se publicará junto con el artículo.