LIT-Former: Verknüpfung von In-Plane und Through-Plane Transformern für gleichzeitige CT-Bildrauschunterdrückung und Entunschärfung

Dieses Papier untersucht die 3D-Niedrigdosis-Computertomographie (CT). Obwohl in diesem Kontext verschiedene Deep Learning-Methoden entwickelt wurden, konzentrieren sie sich typischerweise auf 2D-Bilder und führen die Rauschunterdrückung bei Niedrigdosis und die Entunschärfung für die Superauflösung separat durch. Bis jetzt wurde wenig Arbeit zur gleichzeitigen In-Plane-Rauschunterdrückung und Through-Plane-Entunschärfung geleistet, was wichtig ist, um qualitativ hochwertige 3D-CT-Bilder bei geringerer Strahlung und schnellerer Bildaufnahme zu erhalten. Für diese Aufgabe ist eine naheliegende Methode, ein End-to-End-3D-Netzwerk direkt zu trainieren. Dies erfordert jedoch viel mehr Trainingsdaten und kostspielige Berechnungskosten. Hier schlagen wir vor, In-Plane- und Through-Plane-Transformer für die gleichzeitige In-Plane-Rauschunterdrückung und Through-Plane-Entunschärfung zu verknüpfen, was wir LIT-Former nennen, das effizient die In-Plane- und Through-Plane-Teilaufgaben für die 3D-CT-Bildgebung synergisieren und die Vorteile sowohl von Faltungs- als auch von Transformernetzwerken nutzen kann. LIT-Former hat zwei neuartige Designs: effiziente Multi-Head-Selbstaufmerksamkeitsmodule (eMSM) und effiziente konvolutionale Feed-Forward-Netzwerke (eCFN). Erstens integriert eMSM die In-Plane-2D-Selbstaufmerksamkeit und die Through-Plane-1D-Selbstaufmerksamkeit, um die globalen Interaktionen der 3D-Selbstaufmerksamkeit, die zentrale Einheit der Transformernetzwerke, effizient zu erfassen. Zweitens integriert eCFN 2D-Faltung und 1D-Faltung, um lokale Informationen der 3D-Faltung auf die gleiche Weise zu extrahieren. Infolgedessen synergisiert der vorgeschlagene LIT-Former diese beiden Teilaufgaben und reduziert die Rechenkomplexität erheblich im Vergleich zu 3D-Gegenstücken und ermöglicht eine schnelle Konvergenz. Umfangreiche experimentelle Ergebnisse auf simulierten und klinischen Datensätzen zeigen eine überlegene Leistung im Vergleich zu modernen Modellen. Der Quellcode ist unter https://github.com/hao1635/LIT-Former verfügbar.