Wort-Embeddings: Was funktioniert, was nicht und wie man den Unterschied für die angewandte Forschung erkennt

Wort-Embeddings werden in der Political Science-Forschung immer beliebter, doch wissen wir wenig über ihre Eigenschaften und Leistung. Um Wissenschaftlern, die diese Techniken nutzen möchten, zu helfen, untersuchen wir die Auswirkungen von wichtigen Parameterentscheidungen – einschließlich der Länge des Kontextfensters, der Dimensionen des Einbettungsvektors und vortrainierter versus lokal angepasster Varianten – auf die Effizienz und Qualität der mit diesen Modellen möglichen Schlussfolgerungen. Beruhigenderweise zeigen wir, dass die Ergebnisse im Allgemeinen robust gegenüber solchen Entscheidungen für politische Korpora unterschiedlicher Größen und in verschiedenen Sprachen sind. Neben der Berichterstattung über umfangreiche technische Erkenntnisse bieten wir eine neuartige crowdsourcierte Methode im Stil eines