Crystalformer : Attention infiniment connectée pour l'encodage de structures périodiques

Prédire les propriétés physiques des matériaux à partir de leurs structures cristallines est un problème fondamental en science des matériaux. Dans des domaines périphériques comme la prédiction des propriétés moléculaires, les réseaux d'attention entièrement connectés se sont révélés efficaces. Cependant, contrairement à ces arrangements d'atomes finis, les structures cristallines sont des arrangements d'atomes périodiques et infiniment répétitifs, dont l'attention entièrement connectée donne lieu à une attention infiniment connectée. Dans ce travail, nous montrons que cette attention infiniment connectée peut conduire à une formulation computationnellement gérable, interprétée comme une sommation de potentiel neuronal, qui réalise des sommations infinies de potentiel interatomique dans un espace de caractéristiques profondément appris. Nous proposons ensuite une architecture d'encodeur simple mais efficace basée sur Transformer pour les structures cristallines appelée Crystalformer. Comparé à un modèle existant basé sur Transformer, le modèle proposé ne nécessite que 29,4 % du nombre de paramètres, avec des modifications minimes à l'architecture originale de Transformer. Malgré la simplicité architecturale, la méthode proposée surpasse les méthodes de pointe pour diverses tâches de régression de propriétés sur les ensembles de données Materials Project et JARVIS-DFT.