प्रशिक्षित मल्टीमॉडल बड़े भाषा मॉडल त्वचाविज्ञान निदान में सुधार करता है SkinGPT-4 का उपयोग करते हुए

सार बड़े भाषा मॉडल (LLMs) हाल ही में चिकित्सा निदान को आगे बढ़ाने में असाधारण संभावनाएँ रखते हैं, विशेष रूप से त्वचाविज्ञान निदान में, जो एक बहुत महत्वपूर्ण कार्य है क्योंकि त्वचा और उपत्वचीय रोग गैर-घातक रोगों के वैश्विक बोझ के प्रमुख कारणों में से एक हैं। यहाँ हम SkinGPT-4 प्रस्तुत करते हैं, जो मल्टीमॉडल बड़े भाषा मॉडलों पर आधारित एक इंटरैक्टिव त्वचाविज्ञान निदान प्रणाली है। हमने त्वचा रोगों के चित्रों (52,929 सार्वजनिक और स्वामित्व वाले चित्रों) के व्यापक संग्रह के साथ चिकित्सीय अवधारणाओं और डॉक्टरों के नोट्स को एकत्रित करके एक पूर्व-प्रशिक्षित दृष्टि ट्रांसफार्मर को LLM Llama-2-13b-chat के साथ संरेखित किया, और एक दो-चरणीय प्रशिक्षण रणनीति को बनाया। हमने बोर्ड-प्रमाणित त्वचाविज्ञानियों के साथ 150 वास्तविक जीवन के मामलों पर SkinGPT-4 का गुणात्मक मूल्यांकन किया। SkinGPT-4 के साथ, उपयोगकर्ता निदान के लिए अपनी त्वचा की तस्वीरें अपलोड कर सकते हैं, और प्रणाली स्वायत्त रूप से चित्रों का मूल्यांकन कर सकती है, त्वचा की स्थितियों की विशेषताओं और श्रेणियों की पहचान कर सकती है, गहन विश्लेषण कर सकती है, और इंटरैक्टिव उपचार सिफारिशें प्रदान कर सकती है।