Les méthodes pré-entraînées pour les images radiographiques thoraciques multi-vues ont démontré une performance impressionnante dans le diagnostic des maladies thoraciques, mais certaines limitations doivent encore être abordées. Premièrement, de nombreuses méthodes pré-entraînées nécessitent un ajustement complet des modèles pré-entraînés, ce qui entraîne une utilisation significative des ressources informatiques et une destruction des connaissances préalables. Deuxièmement, beaucoup de ces méthodes ne peuvent pas équilibrer efficacement la cohérence et la complémentarité entre les vues, conduisant à une perte d'information et à une dégradation des performances. Pour résoudre ces problèmes, nous proposons MCD-CLIP, une méthode de diagnostic des maladies thoraciques multi-vues basée sur CLIP. Elle utilise des invites visuelles et un Prompt-Aligner pour aligner les invites entre les vues, ainsi qu'une représentation textuelle additionnelle pour un transfert efficace. De plus, nous employons des Adaptateurs pour désentrelacer la représentation d'image, maintenant la cohérence et la complémentarité provenant de différentes vues. Les résultats expérimentaux sur le jeu de données radiographiques thoraciques démontrent que MCD-CLIP atteint des performances comparables ou supérieures sur diverses tâches avec 94,31 % de paramètres ajustables en moins comparé aux méthodes à la pointe de la technologie. Les codes sources sont disponibles sur https://github.com/YuzunoKawori/MCD-CLIP.
Cai et al. (Mon,) ont étudié cette question.
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: