Few-shot-Lernen mit Transformatoren über Graph-Embeddings zur Vorhersage molekularer Eigenschaften

Die Vorhersage molekularer Eigenschaften ist eine wesentliche Aufgabe in der Arzneimittelforschung. In letzter Zeit haben tiefe neuronale Netzwerke die Entdeckung von Verbindungen mit verbesserten molekularen Profilen für die effektive Arzneimittelentwicklung beschleunigt. Insbesondere haben Graph-neuronale Netzwerke (GNNs) eine entscheidende Rolle bei der Identifizierung vielversprechender Arzneimittelkandidaten mit wünschenswerten molekularen Eigenschaften gespielt. Es ist jedoch üblich, dass nur wenige Moleküle denselben Satz von Eigenschaften aufweisen, was ein Datenmangelproblem darstellt, das von herkömmlichen Ansätzen des maschinellen Lernens (ML) nicht gelöst wird. Transformator-Netzwerke haben sich ebenfalls als vielversprechende Lösung herausgestellt, um die Langzeithängigkeit in molekularen Embeddings zu modellieren und ermutigende Ergebnisse in einer Vielzahl von Aufgaben zur Vorhersage molekularer Eigenschaften zu erzielen. Dennoch erfordern diese Methoden weiterhin eine große Anzahl von Datenpunkten pro Aufgabe, um akzeptable Leistungen zu erzielen. In dieser Studie schlagen wir eine Few-shot GNN-Transformer-Architektur, FS-GNNTR, vor, um die Herausforderung des Datenmangels in der Vorhersage molekularer Eigenschaften anzugehen. Das vorgeschlagene Modell akzeptiert Moleküle in Form von molekularen Graphen, um den lokalen räumlichen Kontext der molekularen Graph-Embeddings zu modellieren, während die globalen Informationen tieferer Repräsentationen erhalten bleiben. Darüber hinaus führen wir ein zweimoduliges Meta-Lern-Framework ein, um die Modellparameter iterativ über Few-shot-Aufgaben zu aktualisieren und neue molekulare Eigenschaften mit begrenzten verfügbaren Daten vorherzusagen. Schließlich führen wir mehrere Experimente an kleineren biologischen Datensätzen zur Vorhersage molekularer Eigenschaften, Tox21 und SIDER, durch, und unsere Ergebnisse zeigen die überlegene Leistung von FS-GNNTR im Vergleich zu einfacheren graphenbasierten Baselines. Der Code und die Daten, die diesem Artikel zugrunde liegen, sind im Repository verfügbar, https://github.com/ltorres97/FS-GNNTR.