Zwei-Stream Graph Convolutional Network zur Segmentierung von intraoralen Scannerbildern

Die präzise Segmentierung von Zähnen aus intraoralen Scannerbildern ist eine wesentliche Aufgabe in der computerunterstützten orthodontischen chirurgischen Planung. Die aktuellen Methoden, die auf Deep Learning basieren, fügen oft einfach die rohen geometrischen Attribute (d.h. Koordinaten und Normalenvektoren) der Mesh-Zellen zusammen, um ein Netzwerk mit einem Stream für die automatische Segmentierung von intraoralen Scannerbildern zu trainieren. Da jedoch unterschiedliche rohe Attribute völlig unterschiedliche geometrische Informationen offenbaren, kann die naive Zusammenführung verschiedener roher Attribute in der (niedrigen Ebene) Eingabestufe unnötige Verwirrung bei der Beschreibung und Unterscheidung zwischen Mesh-Zellen verursachen, was das Lernen von hochgradigen geometrischen Repräsentationen für die Segmentierungsaufgabe behindert. Um dieses Problem zu lösen, entwerfen wir ein Zwei-Stream Graph Convolutional Network (d.h. TSGCN), das effektiv mit der Inter-View-Verwirrung zwischen verschiedenen rohen Attributen umgehen kann, um deren komplementäre Informationen effektiver zu bündeln und diskriminative Mehrview-geometrische Repräsentationen zu lernen. Konkret verwendet unser TSGCN zwei input-spezifische Graph-Lernströme, um komplementäre hochgradige geometrische Repräsentationen aus Koordinaten und Normalenvektoren zu extrahieren. Diese Single-View-Repräsentationen werden dann durch ein Selbstaufmerksamkeitsmodul weiter zusammengeführt, um die Beiträge verschiedener Ansichten adaptiv auszugleichen, um diskriminativere Multi-View-Repräsentationen für eine genaue und vollständig automatische Zahnssegmentierung zu lernen. Wir haben unser TSGCN an einem realen Patientendatensatz von dentalen (Mesh-)Modellen, die mit 3D intraoralen Scannern erfasst wurden, evaluiert. Experimentelle Ergebnisse zeigen, dass unser TSGCN die aktuellen Methoden in der 3D-Zahn- (Oberflächen-)Segmentierung erheblich übertrifft.