Textdatenaugmentation einfach gemacht durch Nutzung von NLP-Cloud-APIs

In der Praxis kommt es häufig vor, dass man viel zu wenig Textdaten hat, um ein tiefes neuronales Netzwerk zu trainieren. Diese "Big Data Wall" stellt eine Herausforderung für Minderheitensprachen-Gemeinschaften im Internet, Organisationen, Labore und Unternehmen dar, die mit den GAFAM (Google, Amazon, Facebook, Apple, Microsoft) konkurrieren. Während sich der Großteil der Forschungsanstrengungen in der Textdatenaugmentation auf das langfristige Ziel konzentriert, End-to-End-Lösungen zu finden, die dem "Einsatz von neuronalen Netzwerken zur Fütterung von neuronalen Netzwerken" entsprechen, konzentriert sich diese Ingenieursarbeit auf die Nutzung praktischer, robuster, skalierbarer und einfach umzusetzender Datenaugmentationsvorverarbeitungstechniken, die denen ähnlich sind, die im Bereich der Computer Vision erfolgreich sind. Mehrere Techniken zur Textaugmentation wurden experimentiert. Einige bestehende Techniken wurden zu Vergleichszwecken getestet, wie z. B. Rausch-Injektion oder die Verwendung von regulären Ausdrücken. Andere sind modifizierte oder verbesserte Techniken wie lexikalischer Ersatz. Schließlich basieren innovativere Methoden, wie die Generierung von Paraphrasen durch Rückübersetzung oder durch die Transformation von syntaktischen Bäumen, auf robusten, skalierbaren und einfach zu verwendenden NLP-Cloud-APIs. Alle untersuchten Textaugmentationsmethoden, mit einem Verstärkungsfaktor von nur 5, erhöhten die Genauigkeit der Ergebnisse in einem Bereich von 4,3% bis 21,6%, mit signifikanten statistischen Schwankungen, bei einer standardisierten Aufgabe zur Vorhersage der Textpolarisierung. Einige Standardarchitekturen für tiefe neuronale Netzwerke wurden getestet: das mehrschichtige Perzeptron (MLP), das Long Short-Term Memory rekurrente Netzwerk (LSTM) und das bidirektionale LSTM (biLSTM). Der klassische XGBoost-Algorithmus wurde mit Verbesserungen von bis zu 2,5% getestet.