Este trabajo explora la consistencia de los pequeños LLMs (2B-8B parámetros) al responder varias veces la misma pregunta. Presentamos un estudio sobre LLMs conocidos y de código abierto que responden a 10 repeticiones de preguntas de las referencias de opción múltiple MMLU-Redux y MedQA, considerando diferentes temperaturas de inferencia, modelos pequeños vs. medianos (50B-80B), modelos ajustados vs. modelos base, y otros parámetros. También examinamos los efectos de requerir consistencia de respuestas en múltiples pruebas sobre la precisión y los compromisos implicados en decidir qué modelo ofrece mejor ambas cosas. Para apoyar esos estudios, proponemos algunas herramientas analíticas y gráficas nuevas. Los resultados muestran que el número de preguntas que se pueden responder de manera consistente varía considerablemente entre los modelos, pero generalmente se encuentra en el rango del 50%-80% para los modelos pequeños a bajas temperaturas de inferencia. Además, la precisión entre las respuestas consistentes parece correlacionarse razonablemente con la precisión general. Los resultados de los modelos de tamaño mediano parecen indicar niveles de consistencia de respuesta mucho más altos.
Pinhanez et al. (Fri,) estudiaron esta cuestión.