Hin zu einer Lernwissenschaft für komplexe Crowdsourcing-Aufgaben

Wir untersuchen, wie Crowdarbeiter trainiert werden können, um komplexe Crowdsourcing-Aufgaben zu bewältigen. Besonders interessiert uns das Training unerfahrener Arbeiter, um in Situationen, in denen der Strategieraum groß ist, gut abzuschneiden und verschiedene Strategien zu entdecken und auszuprobieren, um erfolgreich zu sein. In einem ersten Experiment vergleichen wir fünf verschiedene Trainingsstrategien. Bei komplexen Websuchherausforderungen zeigen wir, dass das Bereitstellen von Expertenbeispielen eine effektive Trainingsform darstellt, die in nahezu allen interessierenden Maßstäben andere Trainingsformen übertrifft. Allerdings beruht ein solches Training auf dem Zugang zu Fachwissen, was teuer oder nicht verfügbar sein kann. Daher untersuchen wir in einem zweiten Experiment die Machbarkeit des Trainings von Arbeitern ohne Fachwissen. Wir zeigen, dass es sogar effektiver sein kann, wenn Arbeiter die Arbeit ihrer Kollegen validieren, als wenn sie Expertenbeispiele überprüfen, wenn wir nur Lösungen präsentieren, die nach einer Schwellenlänge gefiltert sind. Die Ergebnisse deuten darauf hin, dass crowdsourced Lösungen von Kollegen in einer automatisierten Trainingspipeline genutzt werden können.