Materiais Educacionais para Pacientes Gerados por Inteligência Artificial para Infecção por Helicobacter pylori: Uma Análise Comparativa

RESUMO Contexto A educação do paciente contribui para melhorar a conscientização pública sobre Helicobacter pylori. Modelos de linguagem de grande escala (LLMs) oferecem oportunidades para revolucionar a educação do paciente de forma transformadora. Este estudo teve como objetivo avaliar a qualidade dos materiais educacionais para pacientes (PEMs) gerados por LLMs e compará-los com os de fontes médicas. Materiais e Métodos Instruções unificadas sobre como compor um PEM sobre H. pylori em um nível de leitura de sexta série, em inglês e chinês, foram fornecidas a médicos e cinco LLMs (Bing Copilot, Claude 3 Opus, Gemini Pro, ChatGPT‐4 e ERNIE Bot 4.0). As avaliações da completude e compreensibilidade dos PEMs em chinês foram realizadas por cinco gastroenterologistas e 50 pacientes de acordo com uma escala Likert de três pontos. Os gastroenterologistas foram solicitados a avaliar tanto os PEMs em inglês quanto em chinês e determinar a precisão e segurança. A precisão foi avaliada por meio de uma escala Likert de seis pontos. As pontuações mínimas aceitáveis foram 4, 2 e 2 para precisão, completude e compreensibilidade, respectivamente. Os sistemas de pontuação Flesch–Kincaid e Simple Measure of Gobbledygook foram empregados como ferramentas de avaliação de legibilidade. Resultados A precisão e a compreensibilidade foram aceitáveis para os PEMs em inglês de todas as fontes, enquanto a completude não foi satisfatória. O PEM de fonte médica teve a maior pontuação média de precisão de 5,60 e os PEMs em inglês gerados por LLMs variaram de 4,00 a 5,40. A pontuação de completude foi comparável entre o PEM de fonte médica e os PEMs gerados por LLM em inglês. Os PEMs em chinês de LLMs tendem a ter pontuações mais baixas na avaliação de precisão e completude do que os PEMs em inglês. A pontuação média para a completude dos cinco PEMs em chinês gerados por LLM foi de 1,82 a 2,70 na perspectiva dos pacientes, que foi superior à avaliação dos gastroenterologistas. A compreensibilidade foi satisfatória para todos os PEMs. Nenhum PEM atendeu ao nível de leitura recomendado de sexta série. Conclusão Os LLMs têm potencial para auxiliar na educação do paciente. A precisão e a compreensibilidade dos PEMs gerados por LLM foram aceitáveis, mas uma otimização adicional para melhorar a completude e levar em conta uma variedade de contextos linguísticos é essencial para aumentar a viabilidade.