Bewertung von Diensten zur natürlichen Sprachverarbeitung für Systeme zur konversationalen Fragenbeantwortung

Konversationelle Schnittstellen haben in letzter Zeit viel Aufmerksamkeit auf sich gezogen. Ein Grund für den aktuellen Hype ist die Tatsache, dass Chatbots (eine besonders beliebte Form von konversationellen Schnittstellen) heutzutage ohne Programmierkenntnisse erstellt werden können, dank verschiedener Toolkit und sogenannter Dienste zur natürlichen Sprachverarbeitung (NLU). Während diese NLU-Dienste bereits in der Industrie und Wissenschaft weit verbreitet sind, wurden sie bisher jedoch nicht systematisch analysiert. In diesem Papier stellen wir eine Methode zur Bewertung der Klassifikationsleistung von NLU-Diensten vor. Darüber hinaus präsentieren wir zwei neue Korpora, eines bestehend aus annotierten Fragen und eines bestehend aus annotierten Fragen mit den entsprechenden Antworten. Basierend auf diesen Korpora führen wir eine Bewertung einiger der beliebtesten NLU-Dienste durch. Damit möchten wir sowohl Forschern als auch Unternehmen ermöglichen, informiertere Entscheidungen darüber zu treffen, welchen Dienst sie nutzen sollten.