Bewertung der Reproduzierbarkeit von Ergebnissen des maschinellen Lernens: Eine Einführung in Methoden zur prädiktiven Genauigkeit in den Sozialwissenschaften

Methoden des maschinellen Lernens haben in verschiedenen Bereichen aufgrund ihres Fokus auf prädiktive Genauigkeit an Popularität gewonnen, aber es wurde wenig darüber gearbeitet, wie die Reproduzierbarkeit ihrer Ergebnisse bewertet werden kann. Wir führen Replikationsmethoden ein und passen sie an die Ziele und prozeduralen Bedürfnisse der Forschung im Bereich des maschinellen Lernens an. In Studie 1 veranschaulichen wir diese Methoden mit einem empirischen Datensatz zur Bewertung des Replikationserfolgs eines Maßes für prädiktive Genauigkeit, nämlich R², an den kreuzvalidierten und Testdatensätzen der Stichproben. Wir führen drei Replikationsziele ein. Erstens prüfen Inkonsistenztests, ob einzelne Replikationen die ursprüngliche Studie erfolgreich verworfen haben. Die Ablehnung wird unterstützt, wenn das 95%-Konfidenzintervall (CI) der R²-Differenzschätzungen zwischen Replikation und Original die Null nicht enthält. Zweitens helfen Konsistenztests, die Ansprüche auf erfolgreiche Replikation zu unterstützen. Wir können a priori über einen Äquivalenzbereich entscheiden, in dem die Populationswerte der Differenzschätzungen für substanzielle Gründe als äquivalent betrachtet werden. Das 90%-CI eines anderen Schätzers, das vollständig innerhalb dieses Bereichs liegt, unterstützt die Replikation. Drittens zeigen wir, wie Replikationen kombiniert werden können, um meta-analytische Intervalle zur besseren Präzision von Maßen für prädiktive Genauigkeit zu konstruieren. In Studie 2 wird R² in einer Teilmenge von Replikationsstudien im Vergleich zum Original reduziert, um die Fähigkeit der Replikationsverfahren zu prüfen, echte Replikationen von Nicht-Replikationen zu unterscheiden. Wir stellen fest, dass bei der Kombination von Studien, die aus derselben Population entnommen wurden, um meta-analytische Intervalle zu bilden, Methoden mit zufälligen Effekten am besten für kreuzvalidierte Maße und Methoden mit festen Effekten am besten für Testmaße abschneiden. Unter den Methoden des maschinellen Lernens war die Regression mit vielen komplexen Methoden vergleichbar, während die Support-Vektor-Maschine in einer Vielzahl von Szenarien am zuverlässigsten arbeitete. Sozialwissenschaftler, die maschinelles Lernen zur Modellierung empirischer Daten verwenden, können diese Methoden nutzen, um die Zuverlässigkeit ihrer Ergebnisse zu erhöhen.