Las simulaciones sociales basadas en modelos de lenguaje LLM requieren un límite

Este documento de posición argumenta que las simulaciones sociales basadas en modelos de lenguaje de gran tamaño (LLM) deben establecer límites claros para contribuir de manera significativa a la investigación en ciencias sociales. Si bien los LLM ofrecen capacidades prometedoras para modelar agentes similares a humanos en comparación con el modelado basado en agentes tradicional, enfrentan limitaciones fundamentales que restringen su confiabilidad para el descubrimiento de patrones sociales. El problema principal radica en la tendencia de los LLM hacia una ``persona promedio'' que carece de suficiente heterogeneidad conductual, un requisito crítico para simular dinámicas sociales complejas. Examinamos tres problemas clave de límites: alineación (comportamientos simulados que coinciden con patrones del mundo real), consistencia (mantener un comportamiento coherente del agente a lo largo del tiempo) y robustez (reproducibilidad en condiciones variables). Proponemos límites heurísticos para determinar cuándo las simulaciones basadas en LLM pueden avanzar con fiabilidad la comprensión de las ciencias sociales. Creemos que estas simulaciones son más valiosas cuando se centran en (1) patrones colectivos en lugar de trayectorias individuales, (2) comportamientos de los agentes que se alinean con promedios reales de la población a pesar de la variación limitada, y (3) métodos de validación adecuados disponibles para probar la robustez de la simulación. Proporcionamos una lista de verificación práctica para guiar a los investigadores en la determinación del alcance y las afirmaciones apropiadas para las simulaciones sociales basadas en LLM.