What question did this study set out to answer?

تهدف البحث إلى تعزيز تقسيم تفاعلي لصور الفيروجرافي من خلال نموذج قائم على المتحولين يتضمن إشارات نصية.

April 18, 2026Industrial Lubrication and Tribology0 citations

MFT: دمج متعدد المقاييس وتقسيم موجه بالنص لتحليل شظايا التآكل التفاعلي

YHYongqiu HuangGuangdong University of Petrochemical Technology QZQinghua ZhangGuangdong University of Petrochemical Technology XSXinfa ShiGuangzhou Mechanical Engineering Research Institute (China)

Key Points

تهدف البحث إلى تعزيز تقسيم تفاعلي لصور الفيروجرافي من خلال نموذج قائم على المتحولين يتضمن إشارات نصية.
تم تطوير نموذج دمج متعدد المقاييس وتقسيم موجه بالنص (MFT)
Implemented a cross-modal fusion module to integrate text and visual features
Used two sequential decoders to improve visual-text alignment and segmentation accuracy
Employed a label enhancement strategy to reduce annotation costs using pretrained models and MLLMs
Evaluated MFT on a wear debris dataset with automated mask and description generation.
Achieved 72.20% mean Intersection over Union and 80.52% Prec@0.5
MFT showed more accurate segmentation than other transformer methods
Descriptions generated by MLLMs improved guidance over simple category names
Significantly reduced annotation costs while enhancing segmentation quality

Abstract

الهدف تهدف هذه الدراسة إلى تطبيق شبكة قائمة على المتحولين لتحقيق تقسيم تفاعلي موجه باللغة لتحليل صور الفيروجرافي بشكل أوتوماتيكي، مع التخفيف أيضاً من التكلفة العالية للتعليق اليدوي. التصميم/النهج لمواجهة تحديات التوافق البصري اللغوي في تقسيم الصورة المرجعي (RIS) وتعقيد صور الفيروجرافي، تم اقتراح نموذج يسمى دمج متعدد المقاييس وتقسيم موجه بالنص (MFT). يقوم MFT بإدخال إشارات نصية في ميزات بصرية متعددة المقاييس عبر وحدة دمج متعددة النماذج. ثم يستخدم اثنين من المفككات المتتالية لتعزيز التفاعل عبر المقاييس وتنقيح توافق الصورة مع النص من أجل تقسيم دقيق. تم تدريب MFT وتقييمه على مجموعة بيانات شظايا التآكل تحتوي على 11 فئة. لتقليل تكاليف التعليق، تم تقديم استراتيجية تعزيز العلامة كمنتج ثانوي. تستفيد هذه الاستراتيجية من نموذج تقسيم مدرب مسبقاً ونماذج لغوية متعددة النماذج (MLLMs) لتوليد أقنعة دقيقة ووصف قائم على المظهر تلقائياً من الصور التي تم التعليق عليها بإطارات، مما يوفر إشراف مستوى القناع لـ MFT وإرشادات نصية غنية. النتائج حقق MFT تقسيمًا أكثر دقة من التعبيرات المرجعية مقارنة بالطرق الأخرى المعتمدة على المتحولين. علاوة على ذلك، تمكنت الأوصاف التي ولدتها MLLMs من توجيه النموذج بشكل أكثر فعالية من استخدام أسماء الفئات وحدها. الأصالة/القيمة يمكّن MFT تقسيمًا تفاعليًا دقيقًا من خلال دمج الميزات متعددة المقاييس واثنين من المفككات المتتالية، موجهًا إما بأسماء الفئات أو الأوصاف القائمة على المظهر - خاصةً أن الأخير أكثر فعالية. حقق 72.20% متوسط التقاطع على الاتحاد و80.52% Prec@0.5 مع 124.6 مليون معلمة فقط، مما يدل على دقة وكفاءة تنافسية. مع العلامة المعززة، فإنه يقلل أيضاً من تكاليف التعليق ويحسن جودة التقسيم. مراجعة النظراء تاريخ مراجعة النظراء لهذه المقالة متاح في: https://publons.com/publon/10.1108/ILT-08-2025-0356.

اسأل الذكاء الاصطناعي

Bookmark

View Full Paper