Nutzung von Permutationstests zur Bewertung des Vertrauens in das positive-unlabeled Lernen, angewendet auf hochdimensionale biologische Datensätze

Hintergrund: Im Vergleich zu traditionellen überwachten maschinellen Lernansätzen, die vollständig beschriftete Proben verwenden, zielen Techniken des positiven-unlabeled (PU) Lernens darauf ab, "unbeschriftete" Proben basierend auf einem kleineren Anteil bekannter positiver Beispiele zu klassifizieren. Dieses herausforderndere Modellierungsziel spiegelt viele reale Szenarien wider, in denen negative Beispiele nicht verfügbar sind, was direkte Herausforderungen an die Definition der Vorhersagegenauigkeit und Robustheit mit sich bringt. Während mehrere Studien Vorhersagen bewertet haben, die nur aus definitiven positiven Beispielen gelernt wurden, haben nur wenige untersucht, ob die korrekte Klassifizierung eines hohen Anteils bekannter positiver (KP) Proben aus unbeschrifteten Proben als Surrogat dienen kann, um die Modellqualität anzuzeigen. Ergebnisse: In dieser Studie berichten wir über eine neuartige Methodologie, die mehrere etablierte PU-Lernstrategien mit Permutationstests kombiniert, um das Potenzial von KP-Proben zu bewerten, unbeschriftete Proben genau zu klassifizieren, ohne "Ground Truth"-positive und negative Beschriftungen zur Validierung zu verwenden. Multivariate synthetische und reale hochdimensionale Benchmark-Datensätze wurden eingesetzt, um die Eignung der vorgeschlagenen Pipeline zu demonstrieren, um Beweise für die Robustheit des Modells über unterschiedliche zugrunde liegende Grundwahrheit-Klassenbeschriftungen im unbeschrifteten Set und mit unterschiedlichen Anteilen von KP-Beispielen bereitzustellen. Vergleiche zwischen der Modellleistung mit tatsächlichen und permutierten Beschriftungen könnten verwendet werden, um zuverlässige von nicht zuverlässigen Modellen zu unterscheiden. Schlussfolgerungen: Wie beim vollständig überwachten maschinellen Lernen bietet der Permutationstest ein Mittel zur Festlegung einer Basislinie für den „No-Information-Rate“-Benchmark im Kontext von semi-überwachten PU-Lerninferenzaufgaben und bietet einen Standard, mit dem die Modellleistung verglichen werden kann.