Avaliação e Modelagem da Inteligência Social: Um Estudo Comparativo das Capacidades Humanas e de IA

Diante do atual debate sobre se Modelos de Linguagem de Grande Escala (LLMs) alcançam níveis de inteligência quase humanos (Mitchell Bubeck et al., 2023; Kosinski, 2023; Shiffrin Ullman, 2023), o presente estudo introduz um padrão para avaliar a inteligência social, um dos aspectos mais distintivos da cognição humana. Desenvolvemos uma estrutura teórica abrangente para dinâmicas sociais e introduzimos duas tarefas de avaliação: Raciocínio Inverso (IR) e Planejamento Inverso Inverso (IIP). Nossa abordagem também abrangeu um modelo computacional baseado em inferência bayesiana recursiva, apto a elucidar diversos padrões de comportamento humano. Extensos experimentos e análises detalhadas revelaram que os humanos superaram os mais recentes modelos GPT em desempenho geral, aprendizado zero-shot, generalização one-shot e adaptabilidade a multimodalidades. Notavelmente, os modelos GPT demonstraram inteligência social apenas na ordem mais básica (ordem = 0), em drástico contraste com a inteligência social humana (ordem >= 2). Um exame mais aprofundado indicou uma propensão dos LLMs a depender do reconhecimento de padrões para atalhos, levantando dúvidas sobre sua posse de autêntica inteligência social em nível humano. Nossos códigos, conjunto de dados, apêndice e dados humanos estão disponíveis em https://github.com/bigai-ai/Evaluate-n-Model-Social-Intelligence.