Transformer mit Convolution und Graph-Knoten Co-Embedding: Ein präziser und interpretierbarer Vision-Backbone zur Vorhersage von Genexpressionen aus lokalen histopathologischen Bildern

Die Ableitung von Genexpressionen aus histopathologischen Bildern ist seit langem eine faszinierende, aber herausfordernde Aufgabe, hauptsächlich aufgrund der erheblichen Unterschiede zwischen den beiden Modalitäten. Bestehende Strategien, die lokale oder globale Merkmale histologischer Bilder verwenden, leiden unter Modellkomplexität, GPU-Verbrauch, geringer Interpretierbarkeit, unzureichender Kodierung lokaler Merkmale und übermäßig glatter Vorhersage von Genexpressionen in benachbarten Bereichen. In diesem Papier entwickeln wir TCGN (Transformer mit Convolution und Graph-Knoten Co-Embedding-Methode) zur Schätzung der Genexpression aus H&E-färbigen pathologischen Glasbilden. TCGN besteht aus einer Kombination von Convolutional-Layern, Transformer-Encodern und Graph-Neuronalen-Netzwerken und ist das erste, das diese Blöcke in einem allgemeinen und interpretierbaren Computer-Vision-Backbone integriert. Besonders bemerkenswert ist, dass TCGN ausschließlich mit einem einzigen Spotbild als Eingabe für die Analyse histopathologischer Bilder arbeitet, was den Prozess vereinfacht und gleichzeitig die Interpretierbarkeit aufrechterhält. Wir validieren TCGN an drei öffentlich verfügbaren räumlichen Transkriptom-Datensätzen. TCGN zeigte konstant die beste Leistung (mit einem medianen PCC von 0,232). TCGN bietet überlegene Genauigkeit bei minimalen Parametern (nur 86,241 Millionen) und verbraucht minimalen Speicher, wodurch es selbst auf Personal Computern reibungslos läuft. Darüber hinaus kann TCGN erweitert werden, um Bulk-RNA-seq-Daten zu verarbeiten und gleichzeitig die Interpretierbarkeit zu gewährleisten. Die Verbesserung der Genauigkeit der Vorhersage von Omics-Informationen aus pathologischen Bildern stellt nicht nur eine Verbindung zwischen Genotyp und Phänotyp her und ermöglicht die Vorhersage kostspieliger Messmarkierungen aus erschwinglichen histopathologischen Bildern, sondern legt auch den Grundstein für zukünftige multimodale Datenmodellierung. Unsere Ergebnisse bestätigen, dass TCGN ein leistungsstarkes Werkzeug zur Ableitung von Genexpressionen aus histopathologischen Bildern in Anwendungen der Präzisionsgesundheit ist.