Konfidenzintervalle erlauben, garantieren jedoch nicht eine bessere Inferenz als statistische Signifikanztests

Ein statistisch signifikanter Ergebnis und ein nicht signifikanter Ergebnis können sich wenig unterscheiden, obwohl der Signifikanzstatus zu einer Interpretation des Unterschieds verleiten kann. Es werden zwei Studien berichtet, die die Interpretation solcher Ergebnisse vergleichen, die mit dem Nullhypothesen-Signifikanztest (NHST) oder Konfidenzintervallen (CIs) präsentiert wurden. Autoren von Artikeln, die in Psychologie-, Verhaltensneurowissenschafts- und medizinischen Zeitschriften veröffentlicht wurden, wurden per E-Mail gebeten, zwei fiktive Studien zu interpretieren, die ähnliche Ergebnisse fanden, eines statistisch signifikant und das andere nicht signifikant. Die Antworten von 330 Autoren variierten erheblich, aber die Interpretation war im Allgemeinen schlecht, unabhängig davon, ob die Ergebnisse als CIs oder unter Verwendung von NHST präsentiert wurden. Allerdings waren die Befragten, die NHST beim Interpretieren von CIs erwähnten, zu 60 % geneigt, ungerechtfertigt zu schließen, dass die beiden Ergebnisse im Widerspruch standen, während diejenigen, die CIs ohne Bezug auf NHST interpretierten, zu 95 % geneigt waren, gerechtfertigt zu schließen, dass die beiden Ergebnisse konsistent waren. Die Ergebnisse waren allgemein für alle drei Disziplinen ähnlich. Eine E-Mail-Umfrage unter akademischen Psychologen bestätigte, dass CIs bessere Interpretationen hervorrufen, wenn NHST nicht herangezogen wird. Eine verbesserte statistische Inferenz kann aus der Förderung des meta-analytischen Denkens und der Verwendung von CIs resultieren, aber um den vollen Nutzen zu ziehen, erfordert diese wünschenswerte statistische Reform zudem, dass Forscher CIs ohne Rückgriff auf NHST interpretieren.