Simulação de Assistência de IA Clínica usando LLMs Multimodais: Um Estudo de Caso em Retinopatia Diabética

A retinopatia diabética (RD) é uma das principais causas de cegueira em todo o mundo, e os sistemas de IA podem expandir o acesso ao rastreamento por fotografia de fundo de olho. Os sistemas atualmente autorizados pelo FDA fornecem principalmente saídas de encaminhamento binário, onde essa saída mínima pode limitar a confiança clínica e a utilidade. No entanto, determinar o formato de saída mais eficaz para melhorar o desempenho do clínico em relação à IA é um desafio empírico difícil de avaliar em grande escala. Avaliamos modelos de linguagem de grandes dimensões multimodais (MLLMs) para a detecção de RD e sua capacidade de simular assistência de IA clínica em diferentes tipos de saída. Dois modelos foram testados em IDRiD e Messidor-2: GPT-4o, um MLLM de propósito geral, e MedGemma, um modelo médico de código aberto. Os experimentos incluíram: (1) avaliação de referência, (2) assistência de IA simulada com previsões sintéticas e (3) colaboração real de IA para IA onde o GPT-4o incorporou saídas do MedGemma. O MedGemma superou o GPT-4o na linha de referência, alcançando maior sensibilidade e AUROC, enquanto o GPT-4o mostrou especificidade quase perfeita, mas baixa sensibilidade. Ambos os modelos ajustaram previsões com base em entradas de IA simuladas, mas o desempenho do GPT-4o colapsou com entradas incorretas, enquanto o MedGemma permaneceu mais estável. Em uma colaboração real, o GPT-4o alcançou resultados robustos quando guiado pelas saídas descritivas do MedGemma, mesmo sem acesso direto à imagem (AUROC de até 0,96). Esses achados sugerem que os MLLMs podem melhorar os pipelines de rastreamento de RD e servir como simuladores escaláveis para estudar a assistência de IA clínica em várias configurações de saída. Modelos abertos e leves, como o MedGemma, podem ser especialmente valiosos em ambientes de poucos recursos, enquanto saídas descritivas podem melhorar a explicabilidade e a confiança do clínico nos fluxos de trabalho clínicos.