Ein Vergleich von Frageordnungs-Effekten bei item-by-item- und Rasterformaten: visuelles Layout spielt eine Rolle

Zusammenfassung Der Frageordnungs-Effekt bezieht sich auf das Phänomen, dass vorherige Fragen den kognitiven Antwortprozess und die Antworten der Befragten beeinflussen können. Vorherige Fragen erzeugen einen Kontext oder Rahmen, in dem Fragen interpretiert werden. Gleichzeitig kann in Online-Umfragen das visuelle Design die Antworten ebenfalls beeinflussen. Frühere empirische Forschungen haben erhebliche Beweise für die Auswirkungen der Frageordnung auf die Messung geliefert, aber nur wenige Studien haben untersucht, wie die Effekte der Frageordnung mit dem visuellen Design variieren. Unsere Hauptforschungsfrage lautete, ob die Effekte der Frageordnung bei item-by-item-Formaten im Vergleich zu Rasterformaten unterschiedlich sind. Die Studie nutzt Daten aus einem Online-Umfrage-Experiment, das 2019 auf einem nicht wahrscheinlichkeitstheoretischen Online-Panel in Ungarn durchgeführt wurde. Wir verwendeten die wohlfahrtsbezogenen Fragen der 8. Welle der ESS. Wir haben den Fragebogen manipuliert, indem wir die Position einer Frage geändert haben, die negative Stereotypen über solche sozialen Leistungen und Dienstleistungen hervorruft. Darüber hinaus haben wir das visuelle Design variiert, indem wir die Fragen auf separaten Seiten (item-by-item) oder in einem Raster präsentierten. Die Ergebnisse zeigen, dass die Platzierung der vorgelagerten Fragen direkt vor dem Zielitem die Einstellungen der Befragten signifikant negativ veränderte, aber der Effekt war nur signifikant, wenn die Fragen auf separaten Seiten präsentiert wurden. Ein möglicher Grund für dieses Ergebnis könnte sein, dass Befragte eine tiefere Kognition anstellen, wenn Fragen separat präsentiert werden. Andererseits war das Rasterformat robust gegenüber der Frageordnung, außerdem fanden wir wenig Beweise für stärkere Satisficing-Effekte bei Rastern. Die Ergebnisse verdeutlichen, dass die Mischung von item-by-item- und Rasterformaten in Online-Umfragen zu Messungsgleichwertigkeit führen kann, insbesondere wenn Effekte der Frageordnung zu erwarten sind.