SimLex-999: Bewertung semantischer Modelle mit (echter) Ähnlichkeitsschätzung

Wir präsentieren SimLex-999, eine Goldstandard-Ressource zur Bewertung distributionssemantischer Modelle, die in mehreren wichtigen Aspekten bestehende Ressourcen verbessert. Erstens quantifiziert sie im Gegensatz zu Goldstandards wie WordSim-353 und MEN ausdrücklich die Ähnlichkeit anstelle von Assoziation oder Verwandtschaft, sodass Pärchen von Entitäten, die assoziiert, aber nicht tatsächlich ähnlich sind (Freud, Psychologie), eine niedrige Bewertung erhalten. Wir zeigen, dass SimLex-999 durch diesen Fokus auf Ähnlichkeit die Entwicklung von Modellen mit einem anderen, und vermutlich breiteren, Anwendungsspektrum anregt als solche, die konzeptionelle Assoziationen widerspiegeln. Zweitens enthält SimLex-999 eine Reihe konkreter und abstrakter Adjektiv-, Nomen- und Verb-Paare, zusammen mit einer unabhängigen Bewertung von Konkretheit und (freier) Assoziationsstärke für jedes Paar. Diese Diversität ermöglicht feingliedrige Analysen der Leistung von Modellen bei Konzepten unterschiedlicher Typen und folglich größere Einblicke, wie Architekturen verbessert werden können. Darüber hinaus, im Gegensatz zu bestehenden Goldstandardbewertungen, für die automatische Ansätze die Obergrenze der Interannotatorenübereinstimmung erreicht oder überschritten haben, schneiden state-of-the-art Modelle bei SimLex-999 deutlich schlechter ab. Daher gibt es reichlich Spielraum für SimLex-999, zukünftige Verbesserungen von distributionssemantischen Modellen zu quantifizieren und die Entwicklung der nächsten Generation von Repräsentationslerne-Architekturen zu leiten.