Ein Multi-Achsen-Annoteierungsschema für zeitliche Beziehungen von Ereignissen

Bestehende Annotationsschemata für zeitliche Beziehungen (TempRel) weisen oft eine geringe Interannotator-Übereinstimmung (IAA) selbst zwischen Experten auf, was darauf hindeutet, dass die aktuelle Annotationsaufgabe eine bessere Definition benötigt. Dieses Papier schlägt ein neues Multi-Achsen-Modell vor, um die temporale Struktur von Ereignissen besser zu erfassen. Darüber hinaus identifizieren wir, dass Ereignis-Endpunkte eine wesentliche Quelle der Verwirrung bei der Annotation sind, weshalb wir auch vorschlagen, TempRels nur basierend auf Startpunkten zu annotieren. Ein Pilotprojekt mit Experten-Annotation unter Verwendung des vorgeschlagenen Schemas zeigt eine signifikante Verbesserung der IAA von den konventionellen 60ern auf die 80er (Cohen's Kappa). Dieses besser definierte Annotationsschema ermöglicht zudem die Nutzung von Crowdsourcing, um die Arbeitsintensität für jeden Annotator zu verringern. Wir hoffen, dass diese Arbeit zu interessanteren Studien in Richtung Ereignisverständnis anregen kann.