Verbesserung der Validität und interkulturellen Vergleichbarkeit von Messungen in der Umfrageforschung

Wir beschäftigen uns mit zwei lang bestehenden Problemen der Umfrageforschung: der Messung komplexer Konzepte, wie politischer Freiheit und Effektivität, die Forscher am besten anhand von Beispielen definieren; und was zu tun ist, wenn Befragte identische Fragen auf unterschiedliche Weise interpretieren. Wissenschaftler haben seit langem verschiedene Ansätze zur Bekämpfung der Unvergleichbarkeit entwickelt, wie z.B. die Formulierung konkreterer Fragen – mit unterschiedlichem Erfolg. Unsere Alternative ist es, die Unvergleichbarkeit der Antwortkategorien direkt zu messen und entsprechend zu korrigieren. Wir messen die Unvergleichbarkeit durch die Einschätzungen der Befragten auf derselben Skala wie die Selbstbewertungen, die korrigiert werden sollen, von hypothetischen Personen, die in kurzen Vignetten beschrieben werden. Da die tatsächlichen (aber nicht unbedingt berichteten) Werte der Vignetten über die Befragten invariant sind, zeigt die Variabilität in den Vignettenantworten die Unvergleichbarkeit. Unsere Korrekturen erfordern entweder einfache Umkodierungen oder ein statistisches Modell, das darauf ausgelegt ist, die Kosten für die Durchführung der Umfrage zu senken. Mit Analysen, Simulationen und internationalen Umfragen zeigen wir, wie die Antwortunvergleichbarkeit Umfrageforscher drastisch fehlleiten kann und wie unser Ansatz dieses Problem mindern kann.