Les agents conversationnels ont-ils une théorie de l'esprit ? Une étude de cas unique de ChatGPT avec les paradigmes de la suggestion, des croyances fausses et des photographies fausses, et des histoires étranges.

Dans ce court rapport, nous considérons la manifestation possible des compétences de théorie de l'esprit par l'agent conversationnel ChatGPT récemment proposé par OpenAI. Pour aborder ces compétences, nous avons utilisé une tâche de compréhension indirecte de la parole, la tâche de suggestion, ainsi qu'une nouvelle version textuelle d'un paradigme de croyance fausse/photoraphies fausses, et le paradigme des histoires étranges. La tâche de suggestion est généralement utilisée pour évaluer les individus avec autisme ou schizophrénie en leur demandant d'inférer des intentions cachées à partir de courtes conversations impliquant deux personnages. Nos résultats montrent que le modèle artificiel a des performances plutôt limitées sur la tâche de suggestion, que ce soit avec l'évaluation originale ou les échelles de notation révisées de SCOPE. Pour mieux comprendre cette limitation, nous avons introduit des versions légèrement modifiées de la tâche de suggestion dans lesquelles soit des indices concernant la présence d'une intention communicative étaient ajoutés, soit une question spécifique sur les intentions du personnage était posée. Seule cette dernière a montré des performances améliorées. De plus, l'utilisation d'un paradigme de croyance fausse/photoraphies fausses pour évaluer les compétences d'attribution de croyances démontre que ChatGPT suit les états physiques successifs du monde et peut faire référence aux attentes erronées d'un personnage sur le monde. Aucune dissociation entre les conditions n'a été trouvée. Les histoires étranges étaient associées à des performances correctes mais nous ne pouvions pas être sûrs que l'algorithme n'avait pas de connaissance préalable à ce sujet. Ces résultats suggèrent que ChatGPT peut répondre sur les intentions ou croyances d'un personnage lorsque la question se concentre sur ces états mentaux, mais n'utilise pas de telles références spontanément de manière régulière. Cela peut guider les concepteurs d'IA à améliorer les modèles d'inférence en privilégiant les concepts d'états mentaux afin d'aider les chatbots à avoir des conversations plus naturelles. Ce travail illustre l'application possible des concepts et paradigmes psychologiques à une entité cognitive d'une nature radicalement nouvelle, ce qui conduit à une réflexion sur les méthodes expérimentales qui devraient à l'avenir proposer des outils d'évaluation conçus pour permettre la comparaison des performances humaines et des stratégies avec celles de la machine.