Die frühzeitige Erkennung von diabetischer Retinopathie (DR) ist entscheidend, um irreversiblen Sehverlust zu verhindern; jedoch basieren bestehende automatisierte Methoden oft auf Eingaben mit einer einzigen Modalität, was den komplementären diagnostischen Wert multimodaler Bildgebung einschränkt. Diese Studie präsentiert einen Framework für multimodale Fusion auf Basis von Cross-Attention, der das Lernen von Repräsentationen mit semantisch abgestimmten Fundusfotografie- und OCT-Datensätzen für die Klassifikation von frühstadialer diabetischer Retinopathie (E-DR) untersucht. Die vorgeschlagene Architektur nutzt EfficientNetB0 und DenseNet121 als modalitätsspezifische Encoder, gefolgt von einem mittleren Cross-Attention-Modul, das dynamisch vaskuläre und strukturelle Merkmale ausrichtet und fusioniert. Um konsistentes multimodales Training zu ermöglichen, entwickeln wir eine harmonisierte Strategien zur Labelzuordnung und eine ausgeglichene Pipeline zur Datensatzkonstruktion. Umfangreiche Experimente über unimodale und fusionierte Konfigurationen zeigen, dass unser Fusionsmodell die Basislinienmodelle signifikant übertrifft, mit einer Gesamtgenauigkeit von 96 % und bemerkenswerten Verbesserungen bei der frühstadialen Erkennung (z. B. F1-Score von 83 % für Stadium 1). Im Vergleich zu den bisherigen Fusionsmodellen, die auf einfacher Verkettung oder späte Integration angewiesen sind, erfasst unser vorgeschlagenes Fusionsmodell reichhaltigere cross-modale Merkmalsinteraktionen, was zu einer verbesserten Klassifikationsleistung bei den bewerteten Datensätzen führt. Diese Studie bietet eine explorative Untersuchung der cross-attention-geführten multimodalen Fusion für die Analyse retinaler Bilder zur frühzeitigen Diagnose von DR und anderen ophthalmologischen Screening-Bewertungen.
Bhutto et al. (Sun,) haben diese Frage untersucht.