Crystalformer: Atención Infinita Conectada para la Codificación de Estructuras Periódicas

Predecir las propiedades físicas de los materiales a partir de sus estructuras cristalinas es un problema fundamental en la ciencia de materiales. En áreas periféricas como la predicción de propiedades moleculares, se ha demostrado que las redes de atención completamente conectadas son exitosas. Sin embargo, a diferencia de estas disposiciones de átomos finitos, las estructuras cristalinas son disposiciones periódicas de átomos que se repiten infinitamente, cuya atención completamente conectada da como resultado una atención infinitamente conectada. En este trabajo, mostramos que esta atención infinitamente conectada puede llevar a una formulación computacionalmente tratable, interpretada como la suma de potenciales neuronales, que realiza sumas infinitas de potenciales interatómicos en un espacio de características profundamente aprendido. Luego proponemos una arquitectura de codificador basada en Transformer, simple pero efectiva, para estructuras cristalinas llamada Crystalformer. En comparación con un modelo basado en Transformer existente, el modelo propuesto requiere solo el 29.4% del número de parámetros, con modificaciones mínimas a la arquitectura original del Transformer. A pesar de la simplicidad arquitectónica, el método propuesto supera a los métodos de vanguardia en varias tareas de regresión de propiedades en los conjuntos de datos del Proyecto de Materiales y JARVIS-DFT.