Grammatik- versus Rechtschreibfehlerkorrektur: Eine Untersuchung der Reaktionsfähigkeit von auf Transformern basierenden Sprachmodellen unter Verwendung von BART und MarianMT

Text bleibt nach wie vor eine relevante Form der Informationsdarstellung. Textdokumente werden entweder auf digitalen nativen Plattformen erstellt oder durch die Umwandlung anderer Mediendateien wie Bilder und Sprache. Während der digitale native Text unweigerlich über physische oder virtuelle Tastaturen eingegeben wird, werden Technologien wie OCR und Spracherkennung eingesetzt, um Bilder und Sprachsignale in Textinhalte zu transformieren. All diese verschiedenen Mechanismen der Texterstellung führen auch zu Fehlern im erfassten Text. Dieses Projekt zielt darauf ab, verschiedene Arten von Fehlern in Textdokumenten zu analysieren. Die Arbeit verwendet zwei der fortschrittlichen, auf tiefen neuronalen Netzen basierenden Sprachmodelle, nämlich BART und MarianMT, um die Anomalien im Text zu beheben. Transferlernen dieser Modelle mit den verfügbaren Datensätzen wird durchgeführt, um ihre Fähigkeit zur Fehlerkorrektur zu verfeinern. Es wird eine vergleichende Studie durchgeführt, um die Effektivität dieser Modelle im Umgang mit jeder der definierten Fehlerkategorien zu untersuchen. Es wurde festgestellt, dass beide Modelle die fehlerhaften Sätze um über 20 % reduzieren können, wobei BART Rechtschreibfehler (24,6 %) deutlich besser behandelt als grammatikalische Fehler (8,8 %).