ThinkSum: Razonamiento probabilístico sobre conjuntos utilizando modelos de lenguaje grandes

Los modelos de lenguaje grandes (LLMs) tienen una capacidad sustancial para el razonamiento analógico de alto nivel: reproduciendo patrones en texto lineal que ocurren en sus datos de entrenamiento (evaluación de cero disparos) o en el contexto proporcionado (aprendizaje en contexto de unos pocos disparos). Sin embargo, estudios recientes muestran que incluso los LLMs más avanzados fallan en escenarios que requieren razonamiento sobre múltiples objetos o hechos y en la realización de secuencias de deducciones lógicas. Proponemos un paradigma de inferencia probabilística en dos etapas, ThinkSum, que razona sobre conjuntos de objetos o hechos de manera estructurada. En la primera etapa (Think - recuperación de asociaciones), se consulta a un LLM en paralelo sobre un conjunto de frases extraídas del aviso o de una llamada a un modelo auxiliar. En la segunda etapa (Sum - inferencia o razonamiento probabilístico), los resultados de estas consultas se aggregan para hacer la predicción final. Demostramos las posibilidades y ventajas de ThinkSum en el conjunto de tareas de evaluación de LLM, BIG-bench, logrando mejoras sobre el estado del arte utilizando modelos de la familia GPT en trece tareas difíciles, a menudo con variantes de modelo mucho más pequeñas. También comparamos y contrastamos ThinkSum con otras modificaciones propuestas para la solicitud directa de LLMs, como variantes de la sugerencia de cadena de pensamiento. Nuestros resultados sugieren que, dado que la inferencia probabilística en ThinkSum se realiza fuera de las llamadas al LLM, ThinkSum es menos sensible al diseño del aviso, ofrece predicciones más interpretables y puede combinarse de manera flexible con modelos de variables latentes para extraer conocimiento estructurado de los LLMs. En general, nuestro paradigma propuesto representa un enfoque prometedor para mejorar las capacidades de razonamiento de los LLMs.