Übertragung des rekurrenten Merkmalslernens zur Bildkennung in der Endoskopie

Die probe-basierte konfokale Laserendoskopie (pCLE) ist ein neues Werkzeug zur Diagnose von epithelialen Tumoren, das die in-vivo mikroskopische Bildgebung während endoskopischer Verfahren ermöglicht und die Entwicklung automatischer Erkennungsalgorithmen zur Identifizierung des Gewebestatus erleichtert. In diesem Papier schlagen wir ein Rahmenwerk für das übertragende rekurrente Merkmalslernen für Klassifikationsaufgaben bei pCLE-Videos vor. In der ersten Phase wird das diskriminative Merkmal eines einzelnen pCLE-Bildes über generative adversarielle Netzwerke basierend auf sowohl pCLE- als auch Histologie-Modi erlernt. In der zweiten Phase verwenden wir rekurrente neuronale Netzwerke, um mit der variierenden Länge und der unregelmäßigen Form von pCLE-Mosaiken umzugehen, wobei die bildbasierten Merkmale als Eingabe dienen. Die Experimente an realen pCLE-Datensätzen zeigen, dass unser Ansatz im Vergleich zu modernen Verfahren statistisch signifikant überlegen ist. Eine binäre Klassifikationsgenauigkeit von 84,1 % wurde erreicht.