Echtzeit-föderiertes Lernen mit einem wissensdistillierten Transformer für die kardiale CT-Bildgebung

Föderiertes Lernen ist eine renommierte Technik zur Nutzung dezentraler Daten unter Wahrung der Privatsphäre. In der Praxis stehen jedoch oft Herausforderungen wie teilweise beschriftete Datensätze gegenüber, bei denen nur an wenigen Standorten bestimmte Expertenannotationen vorliegen, sodass große Teile der unbeschrifteten Daten ungenutzt bleiben. Diese zu nutzen, könnte die Fähigkeit von Transformer-Architekturen in Szenarien mit kleinen und divers annotierten Datenmengen verbessern. Wir führen die größte föderierte Analyse der kardialen CT bis heute (n = 8, 104) in einem realen Umfeld über acht Krankenhäuser durch. Unsere zweistufige semi-supervised Strategie destilliert Wissen aus aufgaben spezifischen CNNs in einen Transformer. Zuerst sagen die CNNs für unbeschriftete Daten nach Labeltyp voraus, und dann lernt der Transformer aus diesen Vorhersagen mit label-spezifischen Köpfen. Dies verbessert die prädiktive Genauigkeit und ermöglicht das gleichzeitige Lernen aller Teilbeschriftungen über die Föderation hinweg und übertrifft im Allgemeinen die UNet-basierten Modelle in der Generalisierbarkeit bei nachgelagerten Aufgaben. Code und Modellgewichte werden öffentlich verfügbar gemacht, um zukünftige Analysen der kardialen CT zu nutzen.