Modèles basés sur Transformer pour la représentation SMILES chimique : Une revue complète de la littérature

Les modèles de langage chimique pré-entraînés (CLMs) ont attiré une attention croissante dans les domaines de la chimiinformatique et de la bioinformatique, inspirés par leur succès remarquable dans le domaine du traitement du langage naturel (NLP) tel que la reconnaissance vocale, l'analyse de texte, la traduction et d'autres objectifs associés à la langue. De plus, la vaste quantité de données non étiquetées associées aux composés ou molécules chimiques est devenue un axe de recherche crucial, nécessitant des CLMs avec des capacités de raisonnement sur ces données. Les graphes moléculaires et les descripteurs moléculaires sont les approches prédominantes pour représenter les molécules en vue de la prédiction des propriétés dans l'apprentissage automatique (ML). Cependant, les LMs basés sur Transformer ont récemment émergé comme des outils puissants de facto en apprentissage profond (DL), montrant une performance exceptionnelle dans diverses tâches en aval de NLP, en particulier dans l'analyse de texte. Dans le domaine des LMs basés sur Transformer pré-entraînés tels que BERT (et ses variantes) et GPT (et ses variantes), des études approfondies ont été menées dans le domaine de l'informatique chimique. Diverses tâches d'apprentissage en chimiinformatique telles que l'analyse de texte nécessitant la gestion de données SMILES chimiques contenant des relations complexes entre éléments ou atomes sont devenues de plus en plus prévalentes. Que l'objectif soit de prédire des réactions moléculaires ou des propriétés moléculaires, la demande de LMs capables d'apprendre des informations contextuelles moléculaires au sein de séquences ou chaînes SMILES provenant d'entrées textuelles (c'est-à-dire, SMILES) est en forte augmentation. Cette revue fournit un aperçu de l'état de l'art actuel des LMs de langage chimique basés sur Transformer dans l'informatique chimique pour la conception de novo et analyse les limitations, défis et avantages actuels. Enfin, une perspective sur les opportunités futures est donnée dans ce domaine en évolution.