Objektbasiertes Feedback-Attention in Convolutional Neural Networks verbessert die Tumorerkennung in der digitalen Pathologie

Zusammenfassung Die menschliche visuelle Aufmerksamkeit ermöglicht es, dass Vorwissen oder Erwartungen die visuelle Verarbeitung beeinflussen, indem sie begrenzte Rechenressourcen nur dem Teil des Bildes zuweisen, der wahrscheinlich verhaltensrelevant ist. Hier präsentieren wir ein Bildklassifizierungssystem, das auf biologischer Vision basiert und die Aufmerksamkeit auf informativere Standorte innerhalb eines größeren Elternbildes lenkt, indem es eine Sequenz von sakkadischen Bewegungen verwendet. Wir zeigen, dass das System am Ende der Sakkaden-Sequenz eine verbesserte Klassifikationsfähigkeit im Vergleich zum konvolutionalen neuronalen Netzwerk (CNN) aufweist, das den Feedforward-Teil des Modells repräsentiert. Feedback-Aktivierungen heben auffällige Bildmerkmale hervor, die die Erklärbarkeit der Klassifikation unterstützen. Unser Aufmerksamkeitsmodell weicht erheblich von gängigeren Feedforward-Attention-Mechanismen ab, die einen Teil des Eingangs linear neu gewichten. Dieses Modell verwendet mehrere Durchläufe von Feedforward- und Rückwärtsaktivierungen, die nichtlinear interagieren. Wir wenden unsere Feedback-Architektur auf histopathologische Patch-Bilder an und zeigen eine Verbesserung der Genauigkeit um 3,5 % (p<0,001), als wir retrospektiv 59.057 9-Klassen-Patches aus 689 WSIs kolorektalen Krebs bearbeiteten. Bei der Sakkadenimplementierung erreichte die Gesamtrelevanz zwischen von Experten gekennzeichneten Patches und Modelvorhersage 93,23 % für Tumorgewebe und übertraf die inter-pathologische Übereinstimmung. Unsere Methode ist an andere Wissenschaftsbereiche anpassbar, die auf die Analyse extrem großformatiger Bilder angewiesen sind.