Crowdsourcing subjektive Annotationen durch paarweise Vergleiche reduziert Verzerrungen und Fehler im Vergleich zur Mehrheitsabstimmungsmethode

Wie man die Messvariabilität und Verzerrungen, die durch Subjektivität bei crowdsourcede Etikettierung eingeführt werden, besser reduzieren kann, bleibt eine offene Frage. Wir führen ein theoretisches Rahmenkonzept ein, um zu verstehen, wie zufällige Fehler und Messverzerrungen in crowdsourcede Annotationen subjektiver Konstrukte entstehen. Anschließend schlagen wir eine Pipeline vor, die die paarweise Vergleichsetikettierung mit Elo-Punktzahlen kombiniert, und zeigen, dass sie die allgegenwärtige Mehrheitsabstimmungsmethode bei der Reduzierung beider Arten von Messfehlern übertrifft. Um die Leistung der Etikettierungsansätze zu bewerten, konstruierten wir ein agentenbasiertes Modell der crowdsourceden Etikettierung, das es uns ermöglicht, verschiedene Arten von Subjektivität in die Aufgaben einzuführen. Wir stellen fest, dass der Vergleichsansatz unter den meisten Bedingungen mit Aufgaben-Subjektivität höhere f1-Werte erzielt. Außerdem ist der Vergleichsansatz weniger anfällig für die Aufblähung von Verzerrungen, was bei der Mehrheitsabstimmung eher der Fall ist. Um Anwendungen zu erleichtern, zeigen wir anhand von simulierten und realen Daten, dass die Anzahl der erforderlichen zufälligen Vergleiche für dieselbe Klassifikationsgenauigkeit log-linear O(N log N) mit der Anzahl der etikettierten Elemente skaliert. Wir haben das Elo-System auch als Open-Source-Python-Paket implementiert.