Identifizierung von Vorhersagefehlern in Beobachtungsdaten

Zusammenfassung Entscheidungsträger, wie Ärzte, Richter und Manager, treffen bedeutende Entscheidungen basierend auf Vorhersagen unbekannter Ergebnisse. Machen diese Entscheidungsträger systematische Vorhersagefehler basierend auf den verfügbaren Informationen? Wenn ja, in welcher Weise sind ihre Vorhersagen systematisch verzerrt? In diesem Artikel charakterisiere ich Bedingungen, unter denen systematische Vorhersagefehler in empirischen Situationen wie Einstellung, medizinischer Diagnose und vorläufiger Entlassung identifiziert werden können. Ich leite einen statistischen Test ab, um festzustellen, ob der Entscheidungsträger unter diesen Annahmen systematische Vorhersagefehler macht, und stelle Methoden zur Schätzung der Art und Weise bereit, wie die Vorhersagen des Entscheidungsträgers systematisch verzerrt sind. Ich analysiere die Entscheidungen zur vorläufigen Entlassung von Richtern in New York City und schätze, dass mindestens 20% der Richter systematische Vorhersagefehler bezüglich des Fehlverhaltenrisikos auf Basis der Merkmale des Angeklagten machen. Motiviert durch diese Analyse schätze ich die Auswirkungen der Ersetzung von Richtern durch algorithmische Entscheidungsregeln und finde heraus, dass die Ersetzung von Richtern durch Algorithmen, wo systematische Vorhersagefehler auftreten, den Status quo dominiert.