Entwirrte multimodale Gehirn-MR-Bildübersetzung über einen transformatorbasierten Modalitätsinfusor

Multimodale Magnetresonanztomographie (MR) spielt eine entscheidende Rolle bei der Krankheitsdiagnose, da sie in der Lage ist, ergänzende Informationen bereitzustellen, indem sie eine Beziehung zwischen multimodalen Bildern desselben Subjekts analysiert. Die Erfassung aller MR-Modi kann jedoch teuer sein, und während einer Scansitzung können je nach Studienprotokoll bestimmte MR-Bilder fehlen. Die typische Lösung wäre, die fehlenden Modalitäten aus den erfassten Bildern zu synthetisieren, zum Beispiel durch die Verwendung von generativen gegnerischen Netzwerken (GANs). Doch GANs, die mit konvolutionalen neuronalen Netzwerken (CNNs) konstruiert werden, leiden möglicherweise unter einem Mangel an globalen Beziehungen und Mechanismen, um die gewünschte Modalität zu konditionieren. Um dies anzugehen, schlagen wir in dieser Arbeit einen transformatorbasierten Modalitätsinfusor vor, der zur Synthese multimodaler Gehirn-MR-Bilder entwickelt wurde. In unserer Methode extrahieren wir modalitätsagnostische Merkmale aus dem Encoder und transformieren sie dann in modalitätsspezifische Merkmale mithilfe des Modalitätsinfusors. Darüber hinaus erfasst der Modalitätsinfusor langreichweitige Beziehungen zwischen allen Gehirnstrukturen, was zur Erzeugung realistischerer Bilder führt. Wir führten Experimente mit dem BraTS 2018-Datensatz durch, bei denen wir zwischen vier MR-Modalitäten übersetzten, und unsere experimentellen Ergebnisse zeigen die Überlegenheit unserer vorgeschlagenen Methode hinsichtlich der Synthesequalität. Darüber hinaus haben wir Experimente zu einer Segmentierungsaufgabe von Gehirntumoren und verschiedenen Konditionierungsmethoden durchgeführt.