Ley de escalamiento en la personalidad simulada de LLM: un perfil de persona más detallado y realista es todo lo que necesitas

Resumen Esta investigación se centra en el uso de modelos de lenguaje grandes (LLMs) para simular experimentos sociales, explorando su capacidad para emular la personalidad humana en el rol de persona virtual. La investigación desarrolla un marco de evaluación de extremo a extremo, incluyendo análisis a nivel individual de estabilidad e identificabilidad, así como un análisis a nivel poblacional llamado curvas de personalidad progresivas para examinar la veracidad y consistencia de los LLMs en la simulación de la personalidad humana. Metodológicamente, esta investigación propone modificaciones importantes a los enfoques psicométricos tradicionales (CFA y validez de constructo) que no pueden captar tendencias de mejora en los LLMs en su actual simulación de bajo nivel, lo que podría llevar a un rechazo prematuro o un desajuste metodológico. Las principales contribuciones de esta investigación son: proponer un marco sistemático para la evaluación de la personalidad virtual de LLM; demostrar empíricamente el papel crítico de los detalles de la persona en la calidad de la simulación de personalidad; e identificar los efectos de utilidad marginal de los perfiles de persona, especialmente una Ley de escalamiento en la simulación de personalidad de LLM, ofreciendo métricas de evaluación operativas y una base teórica para aplicar modelos de lenguaje grandes en experimentos de ciencias sociales.