Validierung von Machine-Learning-Algorithmen mit einer begrenzten Stichprobengröße

Fortschritte in der Neuroimaging, Genomik, Bewegungsverfolgung, Augenverfolgung und vielen anderen technologiegestützten Datensammlungsmethoden haben zu einem Torrent von hochdimensionalen Datensätzen geführt, die aufgrund der intrinsisch hohen Kosten der Datensammlung mit menschlichen Teilnehmern häufig eine geringe Anzahl von Proben aufweisen. Hochdimensionale Daten mit einer geringen Anzahl von Proben sind von entscheidender Bedeutung zur Identifizierung von Biomarkern und zur Durchführung von Machbarkeits- und Pilotstudien, können jedoch zu verzerrten Schätzungen der Machine-Learning-(ML)-Leistung führen. Unsere Überprüfung von Studien, die ML angewendet haben, um autistische von nicht-autistischen Individuen vorherzusagen, zeigte, dass eine kleine Stichprobengröße mit höherer berichteter Klassifikationsgenauigkeit verbunden ist. Daher haben wir untersucht, ob diese Verzerrung durch die Verwendung von Validierungsmethoden verursacht werden könnte, die das Überanpassen nicht ausreichend kontrollieren. Unsere Simulationen zeigen, dass die K-fache Kreuzvalidierung (CV) mit kleinen Stichprobengrößen stark verzerrte Leistungsschätzungen liefert, und die Verzerrung ist auch bei einer Stichprobengröße von 1000 weiterhin offensichtlich. Verschachtelte CV- und Train/Test-Split-Ansätze produzieren robuste und unverzerrte Leistungsschätzungen unabhängig von der Stichprobengröße. Wir zeigen auch, dass die Merkmalsauswahl, wenn sie auf zusammengefassten Trainings- und Testdaten durchgeführt wird, erheblich mehr zur Verzerrung beiträgt als die Parametereinstellung. Darüber hinaus wurde der Beitrag zur Verzerrung durch Daten-Dimensionalität, Hyperparameterraum und Anzahl der CV-Falten untersucht, und Validierungsmethoden wurden mit unterscheidbaren Daten verglichen. Die Ergebnisse deuten darauf hin, wie man robuste Testmethoden entwirft, wenn man mit kleinen Datensätzen arbeitet und wie man die Ergebnisse anderer Studien basierend auf der verwendeten Validierungsmethode interpretiert.