ProtTeX: Struktur-in-Kontext-Argumentation und -Bearbeitung von Proteinen mit großen Sprachmodellen

Große Sprachmodelle haben bemerkenswerte Fortschritte im Bereich der molekularen Wissenschaft erzielt, insbesondere im Verständnis und der Generierung funktioneller kleiner Moleküle. Dieser Erfolg wird größtenteils der Effektivität von molekularen Tokenisierungsstrategien zugeschrieben. In der Proteinwissenschaft dient die Aminosäuresequenz als einzige Tokenisierung für LLMs. Viele grundlegende Herausforderungen in der Proteinwissenschaft sind jedoch inhärent strukturabhängig. Das Fehlen strukturnahe Tokens schränkt die Fähigkeiten von LLMs für umfassendes biomolekulares Verständnis und multimodale Generierung erheblich ein. Um diese Herausforderungen anzugehen, stellen wir ein neuartiges Framework, ProtTeX, vor, das die Proteinsequenzen, -strukturen und textuellen Informationen in einem einheitlichen diskreten Raum tokenisiert. Dieser innovative Ansatz ermöglicht das gemeinsame Training des LLM ausschließlich durch das Next-Token-Vorhersage-Paradigma und erleichtert multimodale Proteinargumentation und -generierung. ProtTeX ermöglicht es allgemeinen LLMs, Proteinstrukturen durch sequenzielle Texteingaben wahrzunehmen und zu verarbeiten, strukturelle Informationen als zwischenzeitliche Argumentationskomponenten zu nutzen und Strukturen über sequenzielle Textausgaben zu generieren oder zu manipulieren. Experimente zeigen, dass unser Modell signifikante Verbesserungen bei der Vorhersage der Proteinfunktion erzielt und das Stand der Technik-Modell von Fachexperten mit einer Verdopplung der Genauigkeit übertrifft. Unser Framework ermöglicht eine qualitativ hochwertige konformationale Generierung und anpassbares Proteindesign. Zum ersten Mal demonstrieren wir, dass ProtTeX Decoder-Only-LLMs in die Lage versetzt, mit den standardmäßigen Trainings- und Inferenzpipelines aus dem LLM-Bereich ein breites Spektrum proteinbezogener Aufgaben effektiv zu adressieren.