Espera, ¿todo es ruido de token? Siempre ha sido: Interpretando el comportamiento de los LLM usando el valor de Shapley

La aparición de grandes modelos de lenguaje (LLMs) ha abierto posibilidades emocionantes para simular el comportamiento humano y los procesos cognitivos, con aplicaciones potenciales en varios dominios, incluyendo la investigación de marketing y el análisis del comportamiento del consumidor. Sin embargo, la validez de utilizar LLMs como sustitutos de sujetos humanos sigue siendo incierta debido a divergencias evidentes que sugieren procesos subyacentes fundamentalmente diferentes en juego y la sensibilidad de las respuestas de los LLM a las variaciones en los prompts. Este artículo presenta un enfoque novedoso basado en los valores de Shapley de la teoría de juegos cooperativos para interpretar el comportamiento de los LLM y cuantificar la contribución relativa de cada componente del prompt a la salida del modelo. A través de dos aplicaciones—un experimento de elección discreta y una investigación de sesgos cognitivos—demostramos cómo el método del valor de Shapley puede descubrir lo que llamamos "efectos de ruido de token", un fenómeno donde las decisiones de los LLM son desproporcionadamente influenciadas por tokens que proporcionan contenido informativo mínimo. Este fenómeno plantea preocupaciones sobre la solidez y la generalización de los conocimientos obtenidos de los LLM en el contexto de la simulación del comportamiento humano. Nuestro enfoque independiente del modelo extiende su utilidad a LLMs propietarios, proporcionando una herramienta valiosa para que los comercializadores e investigadores optimicen estratégicamente los prompts y mitiguen sesgos cognitivos evidentes. Nuestros hallazgos subrayan la necesidad de una comprensión más matizada de los factores que impulsan las respuestas de los LLM antes de confiar en ellos como sustitutos de sujetos humanos en entornos de investigación. Enfatizamos la importancia de que los investigadores informen los resultados condicionados a plantillas de prompt específicas y ejerzan precaución al trazar paralelismos entre el comportamiento humano y los LLM.