Soziale und ethische Normen im Design von Annotierungsaufgaben

Die Entwicklung vieler Systeme für maschinelles Lernen (ML) und künstliche Intelligenz (KI) hängt von menschlich gekennzeichneten Daten ab. Von Menschen bereitgestellte Labels fungieren als Tags oder bereichernde Informationen, die es Algorithmen ermöglichen, Muster in Daten leichter zu lernen, um eine Vielzahl von KI-Systemen zu trainieren oder zu evaluieren. Diese Annotationen prägen letztlich das Verhalten von KI-Systemen. Angesichts der Größenordnung von ML-Datensätzen, die Tausende bis Milliarden von Datenpunkten enthalten können, spielen Kosten und Effizienz eine wesentliche Rolle bei der Erfassung von Datenannotation. Dennoch entstehen wichtige Herausforderungen zwischen den Zielen, die mit der Skalierung verbunden sind, und der Notwendigkeit, Daten auf eine Weise zu sammeln, die die Nuancen und Variationen der realen Welt widerspiegelt. Annotatoren werden typischerweise als austauschbare Arbeiter behandelt, die eine Sichtweise „von nirgendwo“ liefern. Wir hinterfragen die Annahmen einer universellen Grundwahrheit, indem wir uns auf die sozialen und ethischen Aspekte konzentrieren, die das Design von Annotierungsaufgaben prägen.