बड़े प्रोटीन भाषा मॉडलों पर पैरामीटर-प्रभावी फाइन-ट्यूनिंग सिग्नल पेप्टाइड भविष्यवाणी में सुधार करता है

सिग्नल पेप्टाइड्स (SPs) कोशिकाओं में प्रोटीन ट्रांसलोकेशन में महत्वपूर्ण भूमिका निभाते हैं। बड़े प्रोटीन भाषा मॉडल (PLMs) और प्रॉम्प्ट-आधारित लर्निंग का विकास SP भविष्यवाणी के लिए एक नया अवसर प्रदान करता है, विशेष रूप से उन श्रेणियों के लिए जिनके पास सीमित एनोटेटेड डेटा है। हम SP भविष्यवाणी के लिए एक पैरामीटर-प्रभावी फाइन-ट्यूनिंग (PEFT) ढांचा पेश करते हैं, PEFT-SP, प्रीट्रेंड PLMs का प्रभावी उपयोग करने के लिए। हमने ESM-2 मॉडल में लो-रैंक अनुकूलन (LoRA) को एकीकृत किया ताकि PLMs के प्रोटीन अनुक्रम विकासात्मक ज्ञान का बेहतर लाभ उठाया जा सके। प्रयोगों से पता चलता है कि LoRA का उपयोग करने वाला PEFT-SP सर्वश्रेष्ठ परिणामों को बढ़ाता है, जिससे छोटे प्रशिक्षण नमूनों वाले SPs के लिए अधिकतम मैथ्यूज़ सहसंबंध गुणांक (MCC) लाभ 87.3% और कुल MCC लाभ 6.1% प्राप्त होता है। इसके अलावा, हम SP भविष्यवाणी के लिए ESM-2 में दो अन्य PEFT विधियों, प्रॉम्प्ट ट्यूनिंग और एडाप्टर ट्यूनिंग, का भी उपयोग करते हैं। अधिक विस्तृत प्रयोग दिखाते हैं कि एडाप्टर ट्यूनिंग का उपयोग करने वाला PEFT-SP छोटे प्रशिक्षण नमूनों वाले SPs के लिए सर्वश्रेष्ठ परिणामों को 28.1% MCC लाभ तक सुधार सकता है और कुल MCC लाभ 3.8% है। LoRA प्रशिक्षण चरण के दौरान एडाप्टर ट्यूनिंग की तुलना में कम कंप्यूटिंग संसाधनों और कम मेमोरी की आवश्यकता है, जो SP भविष्यवाणी के लिए बड़े और अधिक शक्तिशाली प्रोटीन मॉडलों का अनुकूलन संभव बनाता है।