التعلم الذاتي المراقب المسبق لمحوّلات سوين لتحليل الصور الطبية ثلاثية الأبعاد

أظهرت محولات الرؤية (ViT) أداءً رائعًا في التعلم الذاتي المراقب للتمثيلات العالمية والمحلية التي يمكن نقلها إلى التطبيقات التالية. مستلهمين من هذه النتائج، نقدم إطار تعلم ذاتي مراقب مبتكر مع مهام وكيلة مصممة خصيصًا لتحليل الصور الطبية. بصورة محددة، نقترح: (i) نموذج جديد قائم على المحولات ثلاثية الأبعاد، يسمى سوين يو نت ترانسفورمرز (Swin UNETR)، مع ترميز هرمي للتعلم المسبق الذاتي المراقب؛ (ii) مهام وكيلة مصممة خصيصًا لتعلم النمط الأساسي لعلم التشريح البشري. نظهر نجاح التعلم المسبق للنموذج المقترح على 5,050 صورة مأخوذة من التصوير المقطعي المحوسب (CT) متاحة للجمهور من مختلف أعضاء الجسم. يتم التحقق من فعالية نهجنا من خلال تحسين النماذج المدربة مسبقًا في تحدي تقسيم ما وراء صندوق الجمجمة (BTCV) مع 13 عضوًا بطنيًا ومهام تقسيم من مجموعة بيانات ماراثون الت segmentation الطبي (MSD). نموذجنا هو حاليًا الأفضل من نوعه على قوائم الاختبار العامة لكلا من MSD 1 1 https://decathlon-10.grand-challenge.org/evaluation/challenge/leaderboard/ و BTCV 2 2 https://www.synapse.org/#!Synapse:syn3193805/wiki/217785/. الشيفرة: https://monai.io/research/swin-unetr.