मेडिकल विज़न जनरलिस्ट: संदर्भ में चिकित्सा इमेजिंग कार्यों का एकीकरण

यह अध्ययन मेडिकल विज़न जनरलिस्ट (एमवीजी) प्रस्तुत करता है, जो विभिन्न चिकित्सा इमेजिंग कार्यों को संभालने की क्षमता वाला पहला फाउंडेशन मॉडल है - जैसे क्रॉस-मोडल संश्लेषण, छवि विभाजन, शोर कम करना और इनपेंटिंग - एक एकीकृत छवि से छवि उत्पादन ढांचे के भीतर। विशेष रूप से, एमवीजी एक संदर्भ में उत्पादन रणनीति का उपयोग करता है जो इनपुट और आउटपुट को छवियों के रूप में मानकीकृत करता है। इन कार्यों को प्रम्प्ट छवि-लेबल जोड़ी और इनपुट छवियों की शर्त पर छवि उत्पादन प्रक्रिया के रूप में मानकर, यह दृष्टिकोण विभिन्न कार्यों का लचीला एकीकरण संभव बनाता है, यहां तक कि वे विभिन्न मोडालिटी और डेटासेट को शामिल करते हैं। स्थानीक और वैश्विक संदर्भ का लाभ उठाने के लिए, हम एक हाइब्रिड विधि तैयार करते हैं जो शर्तीय छवि उत्पादन के लिए मास्क किए गए छवि मॉडलिंग को ऑटोरिग्रेसिव प्रशिक्षण के साथ जोड़ती है। यह हाइब्रिड दृष्टिकोण सभी शामिल चिकित्सा इमेजिंग कार्यों में सबसे मजबूत प्रदर्शन प्रदान करता है। एमवीजी की क्षमताओं का कठोरता से मूल्यांकन करने के लिए, हमने पहले व्यापक जनरलिस्ट चिकित्सा विज़न बेंचमार्क को तैयार किया, जिसमें 13 डेटासेट शामिल हैं और चार इमेजिंग मोडालिटी (सीटी, एमआरआई, एक्स-रे, और माइक्रो-अल्ट्रासाउंड) को कवर किया गया है। हमारे परिणाम लगातार एमवीजी के श्रेष्ठ प्रदर्शन की स्थापना करते हैं, जो मौजूदा विज़न जनरलिस्ट जैसे पेंटर और एलवीएम को पीछे छोड़ देता है। इसके अलावा, एमवीजी मजबूत स्केलेबिलिटी प्रदर्शित करता है, जिसका प्रदर्शन बDiversified कार्यों के एक अधिक विविध सेट पर प्रशिक्षित होने पर स्पष्ट रूप से सुधार होता है, और इसे केवल न्यूनतम कार्य-विशिष्ट नमूनों के साथ अप्रत्याशित डेटासेट पर प्रभावी ढंग से अनुकूलित किया जा सकता है। कोड उपलब्ध है https://github.com/OliverRensu/MVG पर।