Robustez Superficial, Vulnerabilidades Profundas: Avaliação em Múltiplas Interações de LLMs Médicos

Modelos de linguagem grandes (LLMs) estão rapidamente se transformando em uso clínico médico, entretanto, sua confiabilidade sob interações realistas e em múltiplas etapas continua mal compreendida. As estruturas de avaliação existentes normalmente avaliam a resposta a perguntas em uma única interação sob condições idealizadas, negligenciando as complexidades das consultas médicas, onde entradas conflitantes, contextos enganosos e influência da autoridade são comuns. Introduzimos o MedQA-Followup, uma estrutura para avaliar sistematicamente a robustez em múltiplas interações na resposta a perguntas médicas. Nossa abordagem distingue entre robustez superficial (resistindo ao contexto inicial enganoso) e robustez profunda (mantendo a precisão quando as respostas são desafiadas ao longo das interações), além de introduzir um eixo indireto-direto que separa a contextualização (indireta) da sugestão explícita (direta). Usando intervenções controladas no conjunto de dados MedQA, avaliamos cinco LLMs de última geração e descobrimos que, enquanto os modelos apresentam um desempenho razoável sob perturbações superficiais, eles exibem vulnerabilidades severas em configurações de múltiplas interações, com a precisão caindo de 91,2% para tão baixo quanto 13,5% para Claude Sonnet 4. Contra-intuitivamente, intervenções baseadas em contexto indireto são frequentemente mais prejudiciais do que sugestões diretas, resultando em quedas de precisão maiores entre os modelos e expondo uma vulnerabilidade significativa para implementação clínica. Análises adicionais revelam diferenças entre os modelos, com alguns apresentando quedas de desempenho adicionais sob intervenções repetidas, enquanto outros se recuperam parcialmente ou até melhoram. Esses achados destacam a robustez em múltiplas interações como uma dimensão crítica, mas pouco explorada, para o uso seguro e confiável de LLMs médicos.