Résumé Objectifs L'accès en temps opportun aux comptes rendus d'anatomopathologie a accru le besoin d'explications claires destinées aux patients. Nous avons évalué si les réponses générées par de grands modèles linguistiques (LLM) aux questions des patients sur les comptes rendus d'anatomopathologie sont d'une qualité comparable aux explications rédigées par des pathologistes, et nous avons analysé l'influence de la configuration des LLM sur les performances. Méthodes Soixante-cinq questions réelles et anonymisées de patients, issues d'une plateforme pédagogique en ligne dédiée à la pathologie, ont été traitées à l'aide de 5 configurations de LLM variant selon l'architecture du modèle, la stratégie de prompt et la génération augmentée par récupération (RAG). Les réponses ont été évaluées à l'aide d'une grille structurée mesurant l'exactitude, la pertinence, la clarté, l'empathie et la sécurité ; elles ont été comparées par des tests d'arène par paires avec une modélisation de Bradley-Terry afin d'établir un classement des performances. Résultats Sur l'ensemble des domaines de la grille, les réponses des LLM ont démontré des performances comparables à celles des explications des pathologistes, 1 configuration répondant aux critères de non-infériorité. Les comparaisons par paires en arène ont indiqué que les paramètres de configuration influençaient fortement les performances, la taille du modèle ainsi que l'enrichissement par récupération étant tous deux associés à une meilleure préférence pour les réponses. La configuration la plus performante combinait un modèle de plus grande taille avec la récupération d'informations à partir d'une base de connaissances validée en pathologie, et a été nettement préférée aux réponses rédigées par les pathologistes. Conclusions Des systèmes de LLM soigneusement configurés peuvent générer des explications de comptes rendus d'anatomopathologie destinées aux patients d'une qualité comparable à celles rédigées par des pathologistes. La stratégie de prompt, la taille du modèle et l'intégration de la récupération ont été associées à des différences de performance, soulignant l'importance de la configuration du système dans le développement d'outils basés sur les LLM visant à élargir l'accès à des informations compréhensibles en pathologie.
Jeong et al. (Mon,) ont étudié cette question.