Motivation: Während aktuelle Anwendungen der künstlichen Intelligenz (KI) in diesem Bereich hauptsächlich auf Einzelmodalitäten-Bildgebung wie Mammographie oder MRT fokussiert sind, sind diese Ansätze begrenzt in ihrer Fähigkeit, die volle Komplexität der Heterogenität von Brustkrebs zu erfassen. Ziel(e): Entwicklung eines auf Deep Learning basierenden Modells zur Vorhersage molekularer Subtypen von Brustkrebs durch diagnostische Mammographie (MG) und MRT-Bilder. Ansatz: Wir haben eine multimodale Deep-Learning-Architektur implementiert, die einen Cross-Attention-Mechanismus für MG und Self-Attention für MRT integriert. Ergebnisse: Dieses Deep-Learning-Modell zeigt eine überlegene prädiktive Genauigkeit, indem es sowohl 2D-MG- als auch 3D-MRT-Daten nutzt, wodurch es ein wertvolles nicht-invasives Werkzeug zur Identifizierung molekularer Subtypen darstellt. Einfluss: Durch die einzigartige Kombination von 2D-Mammographie- und 3D-MRT-Daten erfasst das multimodale Deep-Learning-Modell komplementäre Tumoreigenschaften, die eine genauere und differenziertere Klassifizierung über mehrere Subtypen unterstützen und möglicherweise bei der Behandlungsplanung helfen und die Patientenergebnisse verbessern.
He et al. (Tue,) haben diese Frage untersucht.