Maskiertes inverses Falten mit Sequenzübertragung für das Lernen von Proteinrepräsentationen

Die selbstüberwachte Vorabtrainierung auf Proteinsequenzen hat zu einem Stand der Technik in der Vorhersage von Proteinfunktion und Fitness geführt. Allerdings ignorieren Methoden, die nur auf Sequenzen basieren, die reichen Informationen, die in experimentellen und vorhergesagten Proteinstrukturen enthalten sind. In der Zwischenzeit rekonstruieren inverse Faltmethoden die Aminosäuresequenz eines Proteins, wenn dessen Struktur bekannt ist, nutzen jedoch nicht die Sequenzen, die keine bekannten Strukturen haben. In dieser Studie trainieren wir ein maskiertes inverses Faltenprotein, das als maskiertes Sprachmodell parametrisiert ist, das als strukturiertes graphenbasiertes neuronales Netzwerk fungiert. Während der Vorabtrainierung lernt dieses Modell, beschädigte Sequenzen basierend auf der Backbone-Struktur zu rekonstruieren. Wir zeigen dann, dass die Verwendung der Ausgaben eines vorab trainierten Sequenz-Only-Protein-maskierten Sprachmodells als Eingabe für das inverse Faltmodell die Vorabtrainierungskomplexität weiter verbessert. Wir bewerten beide Modelle in downstream Protein-Engineering-Aufgaben und analysieren den Effekt der Verwendung von Informationen aus experimentellen oder vorhergesagten Strukturen auf die Leistung.