ProtST: Aprendizaje Multi-Modo de Secuencias de Proteínas y Textos Biomédicos

Los modelos de lenguaje de proteínas actuales (PLMs) aprenden representaciones de proteínas principalmente basadas en sus secuencias, capturando así bien la información co-evolutiva, pero no pueden adquirir explícitamente las funciones de las proteínas, que es el objetivo final del aprendizaje de representaciones de proteínas. Afortunadamente, para muchas proteínas, están disponibles sus descripciones de propiedades textuales, donde también se describen sus diversas funciones. Motivados por este hecho, primero construimos el conjunto de datos ProtDescribe para aumentar las secuencias de proteínas con descripciones textuales de sus funciones y otras propiedades importantes. Basado en este conjunto de datos, proponemos el marco ProtST para mejorar el pre-entrenamiento de Secuencias de Proteínas y la comprensión a través de Textos biomédicos. Durante el pre-entrenamiento, diseñamos tres tipos de tareas, es decir, predicción de máscara unimodal, alineación de representación multimodal y predicción de máscara multimodal, para potenciar un PLM con información de propiedades de proteínas con diferentes granularidades y, al mismo tiempo, preservar el poder de representación original del PLM. En tareas posteriores, ProtST permite tanto el aprendizaje supervisado como la predicción sin entrenamiento. Verificamos la superioridad de los PLMs inducidos por ProtST sobre los anteriores en diversos puntos de referencia de aprendizaje de representaciones. Bajo el escenario de cero disparo, mostramos la efectividad de ProtST en la clasificación de proteínas sin entrenamiento, y ProtST también permite la recuperación funcional de proteínas de una base de datos a gran escala sin ninguna anotación de función.