Vers un reporting automatisé : un jeu de données de rapports de bronchoscopie pour améliorer les modèles de langage large multimodal

L'examen par bronchoscopie est essentiel pour diagnostiquer et gérer les maladies respiratoires. Bien que les modèles de langage large multimodal (MLLM) puissent améliorer l'efficacité et l'exactitude de la rédaction de rapports médicaux, les ensembles de données existants manquent d'annotations descriptives et complètes pour des cas complexes, entravant leur capacité à faciliter un apprentissage adéquat des relations image-rapport. Pour résoudre ce problème, nous introduisons le BERD, un ensemble de données de rapports d'examen bronchique, qui comprend 3 692 rapports d'examen par bronchoscopie. Parmi ces rapports, 6 330 images représentatives sont annotées avec des descriptions textuelles et des étiquettes de classification. Le BERD met l'accent sur la fourniture de descriptions polyvalentes et détaillées des constatations. Tous ces rapports et annotations ont été réalisés par des cliniciens expérimentés spécialisés en bronchoscopie. De plus, les résultats expérimentaux montrent que le réglage fin des MLLM de pointe sur le BERD améliore considérablement leur capacité à générer des rapports précis et complets, faisant progresser les applications de l'IA en bronchoscopie.