Desempenho do ChatGPT em Exames de Certificação para Especialistas na Sociedade Japonesa de Oftalmologia

Investigamos o potencial do ChatGPT na área oftalmológica em língua japonesa usando exames de certificação para especialistas na Sociedade Japonesa de Oftalmologia. Testamos o ChatGPT baseado em GPT-3.5 e GPT-4 em cinco conjuntos de questões de exames de certificação anteriores em julho de 2023. O texto japonês foi usado como a solicitação adotando duas estratégias: solicitações zero-shot e few-shot. Comparamos a taxa de respostas corretas do ChatGPT com a dos examinados reais, e as características de desempenho em 10 subespecialidades foram avaliadas. ChatGPT-3.5 e ChatGPT-4 responderam corretamente 112 (22,4%) e 229 (45,8%) de 500 perguntas com solicitações simples zero-shot, respectivamente, e ChatGPT-4 respondeu corretamente 231 (46,2%) perguntas com solicitações few-shot. As taxas de respostas corretas do ChatGPT-3.5 foram aproximadamente duas a três vezes mais baixas do que as dos examinados reais para cada conjunto de exames (p = 0,001). No entanto, as taxas de respostas corretas para o ChatGPT-4 estavam próximas de aproximadamente 70% das dos examinados. O ChatGPT-4 teve a maior taxa de resposta correta (71,4% com solicitações zero-shot e 61,9% com solicitações few-shot) em "blefaroplastia, órbita e oncologia ocular", e a menor taxa de resposta (30,0% com solicitações zero-shot e 23,3% com solicitações few-shot) em "oftalmologia pediátrica." Concluímos que o ChatGPT poderia ser uma das tecnologias avançadas para ferramentas práticas na oftalmologia japonesa.