Tx-LLM: चिकित्सा के लिए एक बड़ा भाषा मॉडल

चिकित्सीय अनुप्रयोग विकसित करना एक लंबा और महंगा प्रक्रिया है जो कई विभिन्न मानदंडों की संतोषजनक पूर्ति की आवश्यक होती है, और प्रक्रिया को तेज करने में सक्षम एआई मॉडल अमूल्य होंगे। हालांकि, वर्तमान एआई दृष्टिकोण अधिकांशतः केवल एक संकीर्ण परिभाषित कार्यों के सेट को संबोधित करते हैं, जो अक्सर एक विशेष क्षेत्र के भीतर सीमित होते हैं। इस अंतर को पाटने के लिए, हम Tx-LLM पेश करते हैं, एक सामान्यवादी बड़ा भाषा मॉडल (LLM) जो PaLM-2 से बारीकी से समायोजित किया गया है और जो विभिन्न चिकित्सीय रूपों के बारे में ज्ञान को कोड करता है। Tx-LLM को 709 डेटासेट के संग्रह का उपयोग करके प्रशिक्षित किया गया है जो 66 कार्यों को लक्षित करता है, जो औषधि खोज पाइपलाइन के विभिन्न चरणों में फैले होते हैं। एक ही वजन सेट का उपयोग करते हुए, Tx-LLM कई रासायनिक या जैविक संस्थाओं (छोटे अणु, प्रोटीन, न्यूक्लिक एसिड, कोशिका रेखाएँ, बीमारियाँ) को स्वतंत्र पाठ के साथ एक साथ संसाधित करता है, जिससे यह संबंधित गुणों की एक विस्तृत श्रृंखला की भविष्यवाणी कर सकता है, 66 में से 43 कार्यों पर राज्य-आधुत प्रदर्शन (SOTA) पर प्रतिस्पर्धा प्राप्त करते हुए और 22 पर SOTA को पार करते हुए। इनमें से, Tx-LLM विशेष रूप से शक्तिशाली है और औसत तौर पर उन कार्यों पर सर्वोत्तम-से-वर्ग प्रदर्शन को पार करता है जो आण्विक SMILES प्रतिनिधित्व को पाठ के साथ जोड़ते हैं, जैसे कि कोशिका रेखा के नाम या रोगों के नाम, संभवतः पूर्व-प्रशिक्षण के दौरान सीखे गए संदर्भ के कारण। हम विभिन्न दवा प्रकारों (जैसे, छोटे अणु और प्रोटीन शामिल होने वाले कार्यों) के बीच कार्यों के बीच सकारात्मक हस्तांतरण का प्रमाण देखते हैं, और हम मॉडल के आकार, डोमेन फाइन-ट्यूनिंग, और प्रेरणा रणनीतियों के प्रदर्शन पर प्रभाव का अध्ययन करते हैं। हमें विश्वास है कि Tx-LLM जैव रासायनिक ज्ञान को कोड करने के लिए LLMs की दिशा में एक महत्वपूर्ण कदम का प्रतिनिधित्व करता है और यह औषधि खोज विकास पाइपलाइन में एंड-टू-एंड उपकरण के रूप में भविष्य में भूमिका निभा सकता है।