Eine Umfrage zu Modellkomprimierung für große Sprachmodelle

Große Sprachmodelle (LLMs) haben die Aufgaben der Verarbeitung natürlicher Sprache erfolgreich transformiert. Dennoch stellen ihre große Größe und hohen Rechenanforderungen Herausforderungen für die praktische Anwendung dar, insbesondere in ressourcenlimitierten Umgebungen. Die Modellkomprimierung hat sich als ein wichtiger Forschungsbereich entwickelt, um diese Herausforderungen anzugehen. Dieses Papier präsentiert eine Umfrage zu Modellkomprimierungstechniken für LLMs. Wir behandeln Methoden wie Quantisierung, Pruning und Wissensdestillation und heben jüngste Fortschritte hervor. Wir diskutieren auch Benchmarking-Strategien und Evaluationsmetriken, die entscheidend sind, um komprimierte LLMs zu bewerten. Diese Umfrage bietet wertvolle Einblicke für Forscher und Praktiker, die darauf abzielen, die Effizienz und die reale Anwendbarkeit von LLMs zu verbessern und eine Grundlage für zukünftige Fortschritte zu schaffen.