ProtST: Multi-Modale Lernverfahren für Proteinsequenzen und biomedizinische Texte

Aktuelle Protein-Sprachmodelle (PLMs) lernen Proteinrepräsentationen hauptsächlich basierend auf ihren Sequenzen und fangen dabei gut ko-evolutionäre Informationen ein, können jedoch die Protein-funktionen nicht explizit erwerben, was das Endziel des Lernens von Proteinrepräsentationen ist. Glücklicherweise sind für viele Proteine ihre textuellen Eigenschaftsbeschreibungen verfügbar, in denen auch ihre verschiedenen Funktionen beschrieben werden. Motiviert durch dieses Faktum, erstellen wir zunächst den ProtDescribe-Datensatz, um Proteinsequenzen mit Textbeschreibungen ihrer Funktionen und anderer wichtiger Eigenschaften zu erweitern. Basierend auf diesem Datensatz schlagen wir das ProtST-Framework vor, um das Pre-Training von Proteinsequenzen und das Verständnis durch biomedizinische Texte zu verbessern. Während des Pre-Trainings entwerfen wir drei Arten von Aufgaben, d.h. unimodale Maskenvorhersage, multimodale Repräsentationsausrichtung und multimodale Maskenvorhersage, um ein PLM mit ProteinEIGENSCHAFTsinformationen mit unterschiedlichen Granularitäten zu verbessern und gleichzeitig die ursprüngliche Repräsentationskraft des PLMs zu erhalten. Bei nachgelagerten Aufgaben ermöglicht ProtST sowohl überwacht Lernen als auch Zero-Shot-Vorhersagen. Wir überprüfen die Überlegenheit von ProtST-induzierten PLMs gegenüber früheren auf verschiedenen Benchmarks für Repräsentationslernen. Unter der Zero-Shot-Einstellung zeigen wir die Effektivität von ProtST bei der Zero-Shot-Protein-Klassifizierung, und ProtST ermöglicht auch die funktionale Proteinabrufung aus einer groß angelegten Datenbank ohne jegliche Funktionsannotation.