What question did this study set out to answer?

Diese Analyse zielt darauf ab, die Leistung verschiedener transformerbasierter Sprachmodelle über unterschiedliche NLP-Benchmarks zu vergleichen. Sie möchte Einblicke geben, um das beste Modell basierend auf der Aufgabe und den Ressourcen auszuwählen.

July 10, 2026Open Access

Eine umfassende vergleichende Analyse transformerbasierter großer Sprachmodelle über Benchmarks der natürlichen Sprachverarbeitung

SDSudhindra B. DeshpandeMachine Intelligence Research Institute PDPriyanka DesaiInstitute of Wood Science and Technology KGKah Ong Michael GohMultimedia University

Key Points

Diese Analyse zielt darauf ab, die Leistung verschiedener transformerbasierter Sprachmodelle über unterschiedliche NLP-Benchmarks zu vergleichen. Sie möchte Einblicke geben, um das beste Modell basierend auf der Aufgabe und den Ressourcen auszuwählen.
Vergleich von GPT-, BERT- und BLOOM-Modellen über sechs NLP-Benchmarks
Bewertung von Ausführungszeit, Genauigkeit, rechnerischer Effizienz und Kosteneffektivität
Bewertung der Modellausführungen in Klassifikations- und Textgenerierungsaufgaben
BERT-Large erreichte 94,1% Genauigkeit bei AG News und 89,2% F1 auf SQuAD
GPT-3 hatte die höchsten Trainingskosten von 4,6 Mio. USD und Inferenzkosten von 0,060 pro 1K Tokens
BLOOM-7B erreichte 91,2% Genauigkeit auf XNLI und balancierte mehrsprachige Fähigkeiten mit moderatem rechnerischen Bedarf

Abstract

Diese Arbeit präsentiert eine vergleichende experimentelle Studie ausgewählter transformerbasierter Sprachmodellarchitekturen: GPT (Generative Pre-trained Transformer), BERT (Bidirectional Encoder Representations from Transformers) und BLOOM (BigScience Large Open-science Open-access Multilingual Language Model). Die Bewertung umfasst Ausführungszeit, Genauigkeit, rechnerische Effizienz, Kosteneffektivität und aufgabenspezifische Leistung über sechs wichtige Benchmarks der natürlichen Sprachverarbeitung (NLP): Stanford Question Answering Dataset (SQuAD), General Language Understanding Evaluation (GLUE), Super General Language Understanding Evaluation (SuperGLUE), Cross-lingual Natural Language Inference (XNLI), AG News Text Classification Dataset (AG News) und das Massive Multitask Language Understanding Benchmark (MMLU). BERT-Large zeigt starke Leistungen in klassifikationsorientierten Aufgaben und erreicht 94,1% Genauigkeit bei AG News und einen F1-Wert von 89,2% auf SQuAD. GPT-3 übertrifft in der hochwertigen Textgenerierung, hat jedoch die höchsten Trainingskosten (4,6 Mio.) und Inferenzkosten (0,060 pro 1K Tokens). BLOOM-7B bietet relativ stärkere mehrsprachige Fähigkeiten mit einer Genauigkeit von 91,2% auf XNLI und erfüllt dabei moderate rechnerische Anforderungen. GPT-2 bietet die kosteneffizienteste Option für ressourcenbeschränkte Anwendungen mit nur 40K Trainingskosten. Die Modellwahl sollte daher durch die beabsichtigten Aufgabenanforderungen, das rechnerische Budget und die Bereitstellungseinschränkungen geleitet werden. Diese Analyse bietet experimentell fundierte Einblicke unter einer kontrollierten, jedoch aufgabenspezifischen Bewertung für Forscher, Praktiker und Organisationen, die das geeignetste LLM-Architektur für ihre spezifischen Anwendungsfälle bestimmen möchten, während praktische Unterschiede in der Bewertungsmethodik zwischen den Modelltypen anerkannt werden, anstatt eine vollständig einheitliche Benchmarking-Pipeline zu verwenden.

KI fragen

Bookmark

View Full Paper