Erkennung von außerhalb der Verteilung und Überwachung radiologischer Daten mittels statistischer Prozesskontrolle

Zusammenfassung Maschinenlernmodelle (ML) scheitern häufig bei Daten, die von ihrer Trainingsverteilung abweichen. Dies ist ein erhebliches Problem für ML-fähige Geräte, da Datenabdrift zu unerwarteter Leistung führen kann. Diese Arbeit führt ein neues Framework zur Erkennung außerhalb der Verteilung (OOD) und zur Überwachung von Datenabdrift ein, das ML und geometrische Methoden mit statistischer Prozesskontrolle (SPC) kombiniert. Wir haben verschiedene Designentscheidungen untersucht, einschließlich Methoden zur Extraktion von Merkmalsdarstellungen und zur Quantifizierung von Drift für die OOD-Erkennung in einzelnen Bildern sowie als Ansatz zur Überwachung von Eingabedaten. Wir haben das Framework sowohl zur Identifizierung von OOD-Bildern als auch zur Demonstration der Fähigkeit, Verschiebungen in Datenströmen über die Zeit zu erkennen, bewertet. Wir haben einen Machbarkeitsnachweis über die folgenden Aufgaben erbracht: 1) Differenzierung zwischen axialen und nicht-axialen CT-Bildern, 2) Differenzierung zwischen CXR und anderen radiografischen Bildgebungsmodalitäten und 3) Differenzierung zwischen Erwachsenen-CXR und pädiatrischem CXR. Bei der Identifizierung einzelner OOD-Bilder erreichte unser Framework eine hohe Sensitivität bei der Erkennung von OOD-Eingaben: 0,980 bei CT, 0,984 bei CXR und 0,854 bei pädiatrischem CXR. Unser Framework ist auch geschickt darin, Datenströme zu überwachen und den Zeitpunkt zu identifizieren, an dem eine Drift aufgetreten ist. In unseren Simulationen, die die Drift über die Zeit verfolgten, erkannte es sofort eine Verschiebung von CXR zu nicht-CXR, einen Übergang von axial zu nicht-axialen CT innerhalb weniger Tage und eine Drift von Erwachsenen- zu pädiatrischen CXRs innerhalb eines Tages – und das alles bei gleichzeitiger Beibehaltung einer niedrigen falsch-positiven Rate. Durch zusätzliche Experimente zeigen wir, dass das Framework modalitätsagnostisch und unabhängig von der zugrunde liegenden Modellstruktur ist, was es hochgradig anpassbar für spezifische Anwendungen und breit anwendbar auf verschiedene Bildgebungsmodalitäten und eingesetzte ML-Modelle macht.