Modelado Multiescala en la Interfaz de la Mecánica Molecular y el Lenguaje Natural a través de Redes Neuronales de Atención

Los humanos están continuamente bombardeados con enormes cantidades de datos. Para hacer frente a este flujo de información, utilizamos el concepto de atención para percibir la entrada más relevante de la visión, la audición, el tacto y otros. Así, el conjunto complejo de señales se utiliza para generar una salida al consultar los datos procesados de formas apropiadas. La atención también es el sello distintivo del desarrollo de teorías científicas, donde elucidamos qué partes de un problema son críticas, a menudo expresadas a través de ecuaciones diferenciales. En este Informe revisamos la aparición de redes neuronales basadas en la atención como una clase de enfoques que ofrecen muchas oportunidades para describir materiales a través de escalas y modalidades, incluyendo cómo los bloques de construcción universales interactúan para producir un conjunto de propiedades materiales. De hecho, la autoensamblaje de biomateriales jerárquicos, estructuralmente complejos y multifuncionales sigue siendo un gran desafío en modelado, teoría y experimento. Ampliando desde el proceso por el cual los bloques de construcción de material interactúan físicamente para formar un tipo de material, en este Informe vemos la autoensamblaje tanto como la emergencia funcional de propiedades de bloques de construcción interactuantes como el proceso físico por el cual los bloques de construcción elementales interactúan y generan estructura y, por lo tanto, funciones. Esta perspectiva, integrada a través de la teoría de materiómica, nos permite resolver problemas multiescala con un enfoque computacional basado en principios fundamentales, basado en redes neuronales de atención que transforman información a características y a propiedades, al mismo tiempo que ofrecen un enfoque de modelado flexible que puede integrar teoría, simulación y experimento. Dado que estos modelos están basados en un marco de lenguaje natural, ofrecen varios beneficios incluyendo la incorporación de conocimiento de dominio general a través de un preentrenamiento de propósito general, que puede llevarse a cabo sin datos etiquetados o grandes cantidades de datos de menor calidad. Los modelos preentrenados ofrecen entonces una plataforma de propósito general que puede ser ajustada para adaptar estos modelos a hacer predicciones específicas, a menudo con relativamente pocos datos etiquetados. El poder transferible del enfoque de modelado basado en lenguaje realiza una descripción olog neural, donde la categorización matemática se aprende mediante atención multi-cabeza, sin conocimiento de dominio en su formulación. Por lo tanto, puede aplicarse a una variedad de tareas de modelado complejas, como predicciones de campo físico, propiedades moleculares o predicciones de estructura, utilizando todos una formulación idéntica. Esto ofrece un enfoque de modelado complementario que ya está encontrando numerosas aplicaciones, con un gran potencial para resolver problemas complejos de ensamblaje, permitiéndonos aprender, construir y utilizar la categorización funcional de cómo los bloques de construcción producen una gama de funciones materiales. En este Informe, demostramos el enfoque en varias áreas de aplicación, incluyendo la predicción de la estructura secundaria de proteínas y la predicción de frecuencias de modos normales, así como la predicción de campos mecánicos cerca de grietas. Unificando estas diversas áreas problemáticas está el enfoque de bloques de construcción, donde los modelos se basan en una plataforma universalmente aplicable que ofrece beneficios que van desde la transferibilidad, la interpretabilidad y la polinización cruzada de conocimiento entre dominios, como se ejemplifica a través de un modelo transformer aplicado para predecir cómo las composiciones musicales influyen en la inferencia de estructuras proteicas de novo. Discutimos futuras potencialidades de este enfoque para una variedad de fenómenos materiales a través de escalas, incluyendo su uso en esquemas de modelado multiparadigma.