Amélioration de la génération de rapports de radiologie grâce à la compréhension sémantique.

Cette étude propose RRG-LLM, un modèle conçu pour améliorer RRG en apprenant efficacement le domaine médical avec un minimum de ressources informatiques. Dans un premier temps, LLM est affiné par LoRA, permettant une adaptation efficace au domaine médical. Ensuite, seule la couche de projection linéaire qui projette l'image en texte est affinée pour extraire des informations importantes de l'image de radiologie et les projeter dans la dimension textuelle. Le modèle proposé a montré des améliorations notables dans la génération de rapports. La performance de ROUGE-L a été améliorée de 0,096 (51,7 %) et celle de METEOR de 0,046 (42,85 %) par rapport au modèle de référence.