ProtLLM: نموذج لغوي كبير مختلط للبروتين واللغة مع تدريب مسبق على البروتين ككلمة

نقترح ProtLLM، نموذج لغوي كبير متعدد الأبعاد ومتعدد الاستخدامات، يركز على المهام المتعلقة بالبروتين واللغة. يتميز ProtLLM بآلية تثبيت بروتين ديناميكية فريدة، مما يتيح له التعامل مع مدخلات معقدة حيث يتم توزيع نص اللغة الطبيعية مع عدد عشوائي من البروتينات. بالإضافة إلى ذلك، نقترح نهج نمذجة اللغة كـ بروتين ككلمة لتدريب ProtLLM. من خلال تطوير مفردات بروتين متخصصة، نجهز النموذج بالقدرة على التنبؤ ليس فقط باللغة الطبيعية ولكن أيضًا بالبروتينات من مجموعة واسعة من المرشحين. علاوة على ذلك، نبني مجموعة بيانات نصية واقعية كبيرة ومتداخلة، تسمى InterPT، للتدريب المسبق. تشمل هذه المجموعة بشكل شامل كل من (1) مصادر البيانات المنسقة مثل تعليقات البروتين و (2) مصادر البيانات غير المنسقة مثل الأوراق البحثية البيولوجية، مما يمنح ProtLLM المعرفة الأساسية لفهم البروتينات. نقيم ProtLLM على المهام الكلاسيكية الموجهة للبروتين ونستكشف تطبيقاته الجديدة في مجال البروتين-language. تُظهر النتائج التجريبية أن ProtLLM لا يحقق أداءً متفوقًا فقط مقابل نماذج مرجعية متخصصة في البروتين في المهام المتعلقة بالبروتين، ولكنه أيضًا يؤدي إلى قدرات التعلم بدون بيانات مسبقة وفي السياق في المهام المرتبطة باللغة والبروتين.