What question did this study set out to answer?

This research investigates whether multilingual knowledge graphs can enhance machine translation by providing in-context examples through structured terminology.

July 8, 2026Open Access

Few-shot prompting vs. chain-of-dictionary prompting of large language models for machine translation with a multilingual knowledge graph

COCarina ObsterUniversity of Vienna

Key Points

This research investigates whether multilingual knowledge graphs can enhance machine translation by providing in-context examples through structured terminology.
Evaluated three large language models: GPT-5, DeepSeek-V3, and TowerLLM.
Compared two prompting methods: Few-shot prompting using sentence pairs and chain-of-dictionary prompting using terminology from a multilingual knowledge graph.
Data sourced from EuroVoc, a multilingual thesaurus utilized for domain-specific legal terminology.
GPT-5 consistently achieved the best outcomes, benefiting most from the chain-of-dictionary method.
TowerLLM showed moderate performance, while DeepSeek-V3 produced the weakest results with minimal improvement from CoD prompts.
Baseline method excelled with established EU glossary terms, whereas CoD showed advantages in idiomatic fluency and terminological accuracy.

Abstract

Die vorliegende Masterarbeit untersucht, ob Multilinguale Wissensgraphen (MKGs) als Quelle für In-Context-Learning-Beispiele genutzt werden können, um die domänenspezifische Maschinelle Übersetzung (MT) mit Large Language Models (LLMs) zu verbessern. Anstatt ausschließlich auf satzparallele Daten zurückzugreifen, wird erforscht, inwiefern strukturierte mehrsprachige Terminologie aus einem Wissensgraphen zur Konstruktion von Prompts eingesetzt werden kann, die die crosslingualen Fähigkeiten und das Reasoning-Potenzial von LLMs gezielter aktivieren. Als Datenbasis dient EuroVoc, der mehrsprachige Thesaurus der Europäischen Union, der als Wissensgraph eingebunden wird. Evaluiert werden drei LLMs – GPT-5, DeepSeek-V3 und TowerLLM – anhand von EU-spezifischer Rechtsterminologie aus dem EUR-Lex-Korpus. Es werden zwei Methoden miteinander verglichen: eine Few-Shot-Baseline, bei der einschlägige Satzpaare als In-Context-Beispiele verwendet werden, sowie eine auf dem Chain-of-Dictionary-Ansatz (CoD) basierende Methode, bei der mehrsprachige Terminologieketten aus dem Wissensgraphen in den Prompt eingebettet werden. Die Ergebnisse zeigen, dass KG-basierte Prompts die Übersetzungsqualität für domänenspezifische Terminologie partiell verbessern können, wobei die Wirksamkeit stark modellabhängig ist. GPT-5 erzielt durchgehend die besten Ergebnisse und profitiert am stärksten von der vorgeschlagenen Methode. TowerLLM belegt eine mittlere Position, während DeepSeek-V3 die schwächsten Resultate aufweist und kaum von der CoD-Methode profitiert. Die Baseline-Methode erweist sich als stärker bei fest etablierten EU-Glossareinträgen, während die CoD-Methode bei idiomatischer Natürlichkeit und terminologischer Nuanciertheit Vorteile zeigt. Die Arbeit schließt mit einer Diskussion der Limitationen und Ansätzen für zukünftige Forschung, darunter die Einbeziehung relationaler KG-Strukturen und hybride Prompting-Strategien.

Ask AI

Helpful

Bookmark

View Full Paper