Verbesserung der Qualität crowdsourcierter Labels durch Rauschkorrektur

Crowdsourcing-Systeme bieten eine kosteneffiziente und bequeme Möglichkeit zur Erhebung von Labels, garantieren jedoch oft nicht die Qualität der Labels. Dieses Papier schlägt einen neuartigen Rahmen vor, der Rauschkorrekturtechniken einführt, um die Qualität der integrierten Labels, die aus den mehreren fehlerhaften Labels von Objekten abgeleitet werden, weiter zu verbessern. Im vorgeschlagenen allgemeinen Rahmen wird die Information über die Qualität der Bewerter, die von einem Front-End-Algorithmus zur Inferenz der Bodenwahrheit geschätzt wird, verwendet, um die nachfolgende Rauschfilterung und -korrektur der Labels zu überwachen. Der Rahmen verwendet einen neuartigen Algorithmus namens adaptive Voting-Rauschkorrektur (AVNC), um potenzielle fehlerhafte Labels präzise zu identifizieren und zu korrigieren. Nach der Filterung der Instanzen mit fehlerhaften Labels wird der verbleibende gereinigte Datensatz verwendet, um mehrere schwache Klassifizierer zu erstellen, auf deren Basis ein leistungsstarker Ensemble-Klassifizierer zur Korrektur dieser Rauschquellen induziert wird. Die experimentellen Ergebnisse an acht simulierten Datensätzen mit unterschiedlichen Arten von Merkmalen und zwei realen Crowdsourcing-Datensätzen in verschiedenen Bereichen zeigen durchgehend, dass: 1) der vorgeschlagene Rahmen die Labelqualität unabhängig von Inferenzalgorithmen verbessern kann, insbesondere unter der Bedingung, dass jede Instanz einige wiederholte Labels hat, und 2) da der vorgeschlagene AVNC-Algorithmus sowohl die Anzahl als auch die Wahrscheinlichkeit potenzieller Labelrauschen berücksichtigt, übertrifft er die State-of-the-Art-Rauschkorrekturalgorithmen.