Kontextuelle Augmentation: Datenaugmentation durch Wörter mit paradigmatischen Beziehungen

Wir schlagen eine neuartige Datenaugmentation für beschriftete Sätze vor, die als kontextuelle Augmentation bezeichnet wird. Wir gehen von einer Invarianz aus, dass Sätze natürlich sind, auch wenn die Wörter in den Sätzen durch andere Wörter mit paradigmatischen Beziehungen ersetzt werden. Wir ersetzen stochastisch Wörter durch andere Wörter, die an den Wortpositionen von einem bidirektionalen Sprachmodell vorhergesagt werden. Die gemäß einem Kontext vorhergesagten Wörter sind zahlreich, aber geeignet für die Augmentation der ursprünglichen Wörter. Darüber hinaus rüsten wir ein Sprachmodell mit einer label-abhängigen Architektur nach, die es dem Modell ermöglicht, Sätze zu augmentieren, ohne die Label-Kompatibilität zu verletzen. Durch die Experimente an sechs verschiedenen Textklassifikationsaufgaben zeigen wir, dass die vorgeschlagene Methode Klassifikatoren, die auf Faltungs- oder rekursiven neuronalen Netzwerken basieren, verbessert.