Medizinischer Vision-Generalisierer: Vereinheitlichung medizinischer Bildgebungsaufgaben im Kontext

Diese Studie präsentiert den Medizinischen Vision-Generalisierer (MVG), das erste Grundmodell, das in der Lage ist, verschiedene medizinische Bildgebungsaufgaben - wie z. B. crossmodal Synthese, Bildsegmentierung, Rauschunterdrückung und Inpainting - innerhalb eines einheitlichen Bild-zu-Bild-Generierungsrahmens zu bewältigen. Speziell verwendet MVG eine In-Context-Generierungsstrategie, die den Umgang mit Eingaben und Ausgaben als Bilder standardisiert. Durch die Behandlung dieser Aufgaben als einen Bildgenerierungsprozess, der auf Bild-Label-Paaren und Eingabebildern basiert, ermöglicht dieser Ansatz eine flexible Vereinheitlichung verschiedener Aufgaben, selbst solcher, die unterschiedliche Modalitäten und Datensätze umfassen. Um sowohl lokalen als auch globalen Kontext zu nutzen, entwerfen wir eine hybride Methode, die maskiertes Bildmodellieren mit autoregressivem Training für die bedingte Bildgenerierung kombiniert. Dieser hybride Ansatz erzielt die robusteste Leistung über alle betreffenden medizinischen Bildgebungsaufgaben hinweg. Um die Fähigkeiten von MVG rigoros zu bewerten, haben wir das erste umfassende Benchmark für allgemeine medizinische Vision zusammengestellt, das 13 Datensätze umfasst und vier Bildgebungsmodalitäten (CT, MRT, Röntgen und Mikro-Ultraschall) abdeckt. Unsere Ergebnisse zeigen konsistent die überlegene Leistung von MVG, das bestehende Vision-Generalisierer wie Painter und LVM übertrifft. Darüber hinaus zeigt MVG starke Skalierbarkeit, wobei sich seine Leistung nachweislich verbessert, wenn es auf einem vielfältigeren Set von Aufgaben trainiert wird, und es kann effektiv auf ungesehene Datensätze mit nur minimalen aufgabenspezifischen Proben angepasst werden. Der Code ist verfügbar unter https://github.com/OliverRensu/MVG.