Fusion von Metadaten und Dermatoskopie-Bildern zur Diagnose von Hauterkrankungen

Bis heute ist es nach wie vor schwierig und herausfordernd, Dermatoskopiebilder automatisch zu klassifizieren. Obwohl moderne Faltungsnetzwerke angewandt wurden, um das Klassifikationsproblem zu lösen und insgesamt anständige Vorhersageergebnisse zu erzielen, gibt es weiterhin Spielraum für Leistungsverbesserungen, insbesondere für seltene Krankheitskategorien. Angesichts der Tatsache, dass menschliche Dermatologen häufig andere Informationen (z. B. Körperstellen von Hautläsionen) zur Unterstützung der Diagnose heranziehen, schlagen wir vor, sowohl Dermatoskopiebilder als auch nicht-bildliche Metadaten für die intelligente Diagnose von Hauterkrankungen zu verwenden. Insbesondere wird die Metadateninformation innovativ genutzt, um die Bedeutung verschiedener Arten von visuellen Informationen während der Diagnose zu steuern. Umfassende Experimente mit verschiedenen Architekturen von Deep-Learning-Modellen haben die überlegene Leistung des vorgeschlagenen Fusionsansatzes, insbesondere für vergleichsweise seltene Krankheiten, demonstriert. Alle unsere Codes werden öffentlich zugänglich gemacht.