SemEval-2014 Aufgabe 7: Analyse von klinischen Texten

Dieses Dokument beschreibt die SemEval-2014, Aufgabe 7 zur Analyse von klinischen Texten und präsentiert die Evaluierungsergebnisse. Es konzentrierte sich auf zwei Teilaufgaben: (i) Identifikation (Aufgabe A) und (ii) Normalisierung (Aufgabe B) von Krankheiten und Störungen in klinischen Berichten, wie sie im Shared Annotated Resources (ShARe) 1-Korpus annotiert sind. Diese Aufgabe war ein Follow-up zur ShARe/CLEF eHealth 2013 gemeinsamen Aufgabe, Teilaufgaben 1a und 1b, aber mit einem größeren Testdatensatz. Insgesamt traten 21 Teams in Aufgabe A an, und 18 von ihnen nahmen auch an Aufgabe B teil. Für Aufgabe A hatte das beste System einen strengen F1-Wert von 81,3, mit einer Präzision von 84,3 und einem Recall von 78,6. Für Aufgabe B hatte dieselbe Gruppe die beste strenge Genauigkeit von 74,1. Die Organisatoren haben die Textkorpora, Annotationen und Evaluierungstools für zukünftige Forschung und Entwicklung auf der Website der gemeinsamen Aufgabe verfügbar gemacht.