Quality and usability of free online machine translation tools in rendering legal content from English into Polish

Diese Masterarbeit untersucht die Qualität und Benutzerfreundlichkeit von zwei der bekanntesten kostenlosen Online-Maschinenübersetzungstools, DeepL und ChatGPT, in einem juristischen Kontext. Der Text ist auf Englisch verfasst und wird ins Polnische übersetzt. Der Ausgangstext wurde in vier Teile geteilt, von denen zwei mit DeepL und zwei mit ChatGPT übersetzt wurden. Jede/r Übersetzer/in erhielt eine Hälfte des von DeepL und die andere von ChatGPT übersetzten Textes. Für diese Untersuchung wurden sechs professionelle Übersetzer/innen gebeten, Fehler zu markieren und den Text nachzubearbeiten. Die Übersetzer/innen arbeiteten im Programm Matecat, in dem alle Änderungen leicht zugänglich und sichtbar sind, und auch die Anzahl der von ihnen entdeckten Fehler, das Schweregrad, das Gewicht und die Art der Fehler in einer Tabelle dargestellt werden. Es gibt drei Schweregrade: schwerwiegend (Gewicht 2), geringfügig (Gewicht 0,5), neutral (Gewicht 0). Die Fehlertypologie basiert auf dem Goldstandard für menschliche Bewertung in der maschinellen Übersetzung, der MQM-Fehlertypologie. Die in der Forschung verwendeten Fehlerkategorien sind Stil (Lesbarkeit, einheitlicher Stil und Tonfall), Tag-Probleme (Inkongruenz, Leerzeichen), Übersetzungsfehler (Fehlübersetzungen, Hinzufügungen oder Auslassungen), Terminologie und Übersetzungskonsistenz sowie Sprachqualität (Grammatik, Zeichensetzung, Rechtschreibung). Anmerkungen und die PEMT-Zeit werden ebenfalls analysiert. In der Übersicht werden auch die Anzahl der überprüften Wörter sowie die Bearbeitungszeit und die Qualitätsbewertung angegeben. Anschließend wurden die Übersetzer/innen gebeten, einen Fragebogen auszufüllen, um ihre Eindrücke vom Post-Editing, ihre Bewertung des maschinell übersetzten Textes sowie ihre allgemeinen Erfahrungen mit maschinellen Übersetzungstools zu erfassen. Sowohl die quantitative als auch die qualitative Analyse deuten darauf hin, dass die Qualität der von DeepL und ChatGPT erstellten Übersetzungen für juristische Texte tendenziell nicht ausreichend ist. Die größten Schwierigkeiten bemerkten die Übersetzer/innen mit Terminologie, sprachlichen Entlehnungen und Stil. Beispielsweise mussten passive Konstruktionen oft in die aktive Form umgewandelt werden, da diese im Polnischen natürlicher klingt. Diese Arbeit könnte auch für zukünftige Studien, die sich zum Beispiel auf andere Sprachkombinationen oder die kostenpflichtigen Versionen der Tools fokussieren, interessant sein.