¿Tienen los agentes conversacionales una teoría de la mente? Un estudio de caso único de ChatGPT con los paradigmas de Sugerencias, Creencias Falsas y Fotografías Falsas, y Historias Extrañas.

En este breve informe consideramos la posible manifestación de habilidades de teoría de la mente por parte del agente conversacional ChatGPT de OpenAI recientemente propuesto. Para explorar estas habilidades, utilizamos una tarea de comprensión indirecta del habla, la tarea de sugerencias, y una nueva versión textual de un paradigma de Creencias Falsas/Fotografías Falsas, así como el paradigma de Historias Extrañas. La tarea de sugerencias se utiliza generalmente para evaluar a individuos con autismo o esquizofrenia, solicitándoles que infieran intenciones ocultas a partir de breves conversaciones que involucran a dos personajes. Nuestros resultados muestran que el modelo artificial tiene un rendimiento bastante limitado en la tarea de Sugerencias cuando se utilizan ya sea la puntuación original o las escalas de calificación revisadas de SCOPE. Para entender mejor esta limitación, introdujimos versiones ligeramente modificadas de la tarea de sugerencias en las que se añadieron pistas sobre la presencia de una intención comunicativa o se formuló una pregunta específica sobre las intenciones del personaje. Solo esta última demostró un rendimiento mejorado. Además, el uso de un paradigma de Creencias Falsas/Fotografías Falsas para evaluar habilidades de atribución de creencias demuestra que ChatGPT hace un seguimiento de los estados físicos sucesivos del mundo y puede referirse a las expectativas erróneas de un personaje sobre el mundo. No se encontró disociación entre las condiciones. Las Historias Extrañas se asociaron con rendimientos correctos, pero no pudimos estar seguros de que el algoritmo no tuviera conocimiento previo de ellas. Estos hallazgos sugieren que ChatGPT puede responder sobre las intenciones o creencias de un personaje cuando la pregunta se centra en estos estados mentales, pero no utiliza tales referencias de manera espontánea de forma regular. Esto puede guiar a los diseñadores de IA a mejorar los modelos de inferencia privilegiando los conceptos de estados mentales para ayudar a los chatbots a tener conversaciones más naturales. Este trabajo ofrece una ilustración de la posible aplicación de constructos y paradigmas psicológicos a una entidad cognitiva de naturaleza radicalmente nueva, lo que lleva a una reflexión sobre los métodos experimentales que en el futuro deberían proponer herramientas de evaluación diseñadas para permitir la comparación de rendimientos y estrategias humanas con las de la máquina.