Modell basierend auf Selbstaufmerksamkeit zur Vorhersage von Interpunktionszeichen unter Verwendung von Wort- und Sprach-Embeddings

Dieses Papier schlägt vor, ein Modell basierend auf Selbstaufmerksamkeit zu verwenden, um Interpunktionszeichen für Wortsequenzen vorherzusagen. Das Modell wird unter Verwendung von Wort- und Sprach-Embedding-Features trainiert, die jeweils aus dem vortrainierten Word2Vec und Speech2Vec gewonnen werden. Somit kann das Modell jede Art von Textdaten und Sprachdaten verwenden. Experimente werden an englischen IWSLT2011-Datensätzen durchgeführt. Die Ergebnisse zeigen, dass das auf Selbstaufmerksamkeit basierende Modell, das mit Wort- und Sprach-Embedding-Features trainiert wurde, das bisherige, beste Einzelmodell um bis zu 7,8 % absolute F1-Score übertreffen kann. Die Ergebnisse zeigen auch, dass es eine Leistungsverbesserung von bis zu 4,7 % absolute F1-Score gegenüber dem vorherigen besten Ensemble-Modell erzielt.