Les anomalies comptent : un modèle orienté vers les anomalies pour la réponse à des questions visuelles médicales

Les images médicales contiennent diverses régions anormales, dont la plupart sont étroitement liées aux lésions ou aux maladies. L'anomalie ou la lésion est l'une des principales préoccupations lors de la pratique clinique et devient donc la clé pour répondre aux questions sur les images médicales. Cependant, les efforts récents se concentrent encore sur la construction d'un cadre générique de réponse à des questions visuelles pour les tâches du domaine médical, ce qui n'est pas suffisant pour les exigences et applications médicales pratiques. Dans cet article, nous présentons deux nouveaux modules spécifiques au médical, nommés module de sensibilité aux anomalies par multiplication et module de sensibilité aux anomalies résiduelles, pour utiliser l'information de localisation d'anomalies faiblement supervisée dans la réponse à des questions visuelles médicales. Tout d'abord, le module de sensibilité aux anomalies par multiplication, conçu pour les questions liées aux anomalies, peut masquer la caractéristique de l'image entière en fonction de la carte de localisation des anomalies. Deuxièmement, le module de sensibilité aux anomalies résiduelles pourrait apprendre une caractéristique d'anomalie flexible tout en préservant l'information de l'image questionnée originale, ce qui est plus utile pour répondre à des questions non liées aux anomalies. Troisièmement, le décodeur transformer et la stratégie d'apprentissage multi-tâches sont combinés pour améliorer davantage la capacité de raisonnement des questions et la performance de généralisation du modèle. Enfin, des expériences qualitatives et quantitatives sur une variété de ensembles de données médicales exhibent la supériorité des approches proposées par rapport aux méthodes à la pointe de la technologie.