Angeln, Engagement und Kommunikation: Ein Vorschlag für eine umfassende nicht bindende Forschungsregistrierung

Sozialwissenschaftler haben im Allgemeinen einen erheblichen Spielraum bei der Auswahl von Maßnahmen und Modellen für Hypothesentests. Zusammen mit Publikations- und verwandten Verzerrungen wirft dieser Spielraum die Sorge auf, dass Forscher möglicherweise absichtlich oder unabsichtlich Modelle auswählen, die positive Ergebnisse liefern, was zu einem unzuverlässigen Bestand veröffentlichten Forschungs führt. Um dieses "Fang"-Problem in medizinischen Studien zu bekämpfen, verlangen führende Fachzeitschriften jetzt die Preregistrierung von Designs, die die vorherige Identifizierung abhängiger und unabhängiger Variablen betonen. Wir zeigen jedoch hier, dass selbst bei diesem Maß an fortgeschrittener Spezifikation der Spielraum für Fang erheblich ist, wenn es Freiräume bei der Auswahl von Kovariaten, Untergruppen und anderen Elementen eines Analyseplans gibt. Diese Bedenken könnten durch die Verwendung einer Form umfassender Registrierung angegangen werden. Wir experimentieren mit einem solchen Ansatz im Kontext eines laufenden Feldeffekts, für den wir einen vollständigen "Mock-Bericht" über Ergebnisse mit gefälschten Daten zur Behandlungseinteilung entworfen haben. Wir beschreiben die Vor- und Nachteile dieser Registrierungsform und schlagen vor, dass ein umfassender, aber nicht bindender Ansatz als erster Schritt zur Bekämpfung von Fang durch Sozialwissenschaftler angenommen wird. Wahrscheinliche Auswirkungen einer umfassenden, aber nicht bindenden Registrierung werden ebenfalls erörtert, wobei der Hauptvorteil Kommunikation und nicht Engagement ist, insbesondere dass sie eine klare Unterscheidung zwischen explorativen Analysen und echten Tests generiert.