Der Unterschied, den Qualität macht

Dieses Papier befasst sich mit einem traditionellen Problem bei der Akkumulation wissenschaftlichen Wissens: der Notwendigkeit, Beweise aus früheren Studien zusammenzuführen. Typischerweise macht die Existenz vieler individueller Studien zu einem bestimmten Thema einen solchen Schritt sehr wünschenswert, doch die Verfahren zum "Überprüfen der Literatur" wurden nicht methodisch rigoros entwickelt. Insbesondere treffen Gutachter viele subjektive Urteile, um jene Studien zu unterscheiden, die überprüft werden sollen, von denen, die aufgrund schlechter Qualität verworfen werden; die resultierende Überprüfung kann unbekannte Bias enthalten. Dieses Papier demonstriert eine Möglichkeit, die Auswirkungen jeglichen Ausschlusses explizit zu machen, indem (a) operationale Kriterien für Qualität entwickelt werden, (b) die Kriterien auf 140 Fallstudien zu technologischen Innovationen in lokalen Dienstleistungen angewendet werden und (c) die Unterschiede zwischen höherwertigen und minderwertigen Fällen aufgezeigt werden. Die Ergebnisse zeigten, dass der Ausschluss minderwertiger Fälle das Universum der Fälle beeinflusst hätte (höherwertige Fälle konzentrierten sich mehr auf Hardware-Innovationen, öffentliche Arbeiten und Verkehrsdienste, Bemühungen, die durch Bundesmittel unterstützt wurden, größere Bemühungen in Bezug auf Dollar-Unterstützung und Bemühungen mit Kundenbeteiligung), aber nicht die Gesamtergebnisse der innovativen Erfahrung (es wurde keine Beziehung zwischen Qualität und Dienstverbesserung oder -einbindung gefunden).