Computer vision and machine learning analysis of atomicscale microscopy images

Die Entwicklung neuer computergestützter Methoden ergibt sich häufig aus der Notwendigkeit, bestimmte Aufgaben zu bewältigen, die zuvor nicht durchführbar waren oder einen hohen manuellen Aufwand erforderten. In den Materialwissenschaften, insbesondere in der Mikroskopie, werden viele Schritte des experimentellen Arbeitsablaufs immer noch manuell oder halb-manuell ausgeführt und hängen stark vom Fachwissen des Benutzers ab. Dies wirkt sich negativ auf den wissenschaftlichen Erkenntnisgewinn aus, da die Wissenschaftler gezwungen sind, sich auf manuelle, zeitaufwändige Aufgaben zu konzentrieren, anstatt sich auf analytische und kreative Aufgaben zu konzentrieren. Dieses Promotionsprojekt konzentrierte sich auf die Entwicklung und Anwendung von Arbeitsabläufen für die Analyse und Verarbeitung von Mikroskopiebildern. Es werden Werkzeuge zur Extraktion kristalliner Muster vorgestellt, die sowohl etablierte Computer-Vision-Techniken als auch Techniken des maschinellen Lernens nutzen. Eine erste Suche nach atomaren Merkmalen erfolgt mithilfe des im Bereich der Computer Vision bewährten Scale-Invariant Feature Transform (SIFT) Algorithmus. Anschließend wird ein agglomeratives Clustering eingesetzt, um die erkannten Merkmale anhand ihres Deskriptors, eines Histogramms orientierter Gradienten (HOG), zu unterscheiden. Nachfolgende Schritte des Clusterns und Filterns ermöglichen es, die Gittervektoren, die Einheitszelle und die Visualisierung der lokalen Verzerrungen zu erhalten. Als direkte Fortsetzung und Erweiterung dieses Tools wurde ein Workflow zur Erkennung und Analyse von quasikristallinen Oberflächen entwickelt, der unseres Wissens der erste seiner Art ist. Aufgrund der nicht-periodischen Natur dieser Systeme muss die herkömmliche Vorstellung einer Einheitszelle durch die von Kacheln ersetzt werden, was größere Anpassungen des ursprünglichen Workflows erforderte. Nach der Ermittlung der atomaren Koordinaten wird ein Konturverfolgungsalgorithmus angewandt, um die Kacheln zu erhalten, die auf der Grundlage ihrer Innenwinkel geclustert werden. Eine Support Vector Machine (SVM) wird auf die erkannten Atomkoordinaten trainiert, um mögliche fehlende Punkte zu finden, was die Genauigkeit der Vorhersage deutlich erhöht. Es wird eine statistische Analyse der Kacheln durchgeführt. Methoden zur Minimierung der Gesamtvariation (TV) wurden eingesetzt, um unerwünschte Hintergrundsignale zu entfernen. In dieser Studie wurden drei verschiedene Methoden (Huber-ROF, TV-L¹ und TGV-L¹) auf verschiedene Untersuchungsfälle angewandt und verglichen, um ihre unterschiedliche Anwendbarkeit zu verdeutlichen. Schließlich wurde ein spezielles Tool für die genaue Zählung von Atomen in atomar aufgelösten Bildern entwickelt, das auf bereits etablierten Workflows aufbaut und ein Mustervergleichsverfahren enthält. Jede Methode wurde in verschiedenen Szenarien getestet, wobei verschiedene Mikroskopietechniken und ein breites Spektrum von Rauschpegeln und Bildartefakten zum Einsatz kamen. Die Limitationen der einzelnen Methoden wurden sorgfältig ermittelt und diskutiert. Alle entwickelten Berechnungswerkzeuge sind als Teil des Open-Source-Pakets AiSurf öffentlich zugänglich.