Systemebene Effizienz von LLM Feinabstimmungsstrategien in ressourcenbeschränkten Umgebungen: Eine vergleichende Studie von LoRA, vollständiger Abstimmung und Training von Grund auf

Diese Studie untersucht eine oft übersehene Dimension der Feinabstimmung großer Sprachmodelle (LLMs): die Auswirkungen verschiedener Strategien auf den systemweiten Ressourcenverbrauch in hardwarebeschränkten Umgebungen, insbesondere für den Einsatz in Einrichtungen wie akademischen Laboren, kostengünstigen virtuellen Maschinen oder Edge-Geräten. Wir präsentieren eine vergleichende Untersuchung von drei Ansätzen: (1) Training von Grund auf ohne vorgelernte Gewichte, (2) vollständige Feinabstimmung aller Parameter und (3) parameter-effiziente Feinabstimmung mittels Low-Rank Adaptation (LoRA). Alle Experimente wurden unter identischen VirtualBox-Einstellungen durchgeführt – vier CPU-Kerne, 5043 MB RAM und, wenn notwendig, um Systemausfälle zu verhindern, 8 GB Swap-Speicher. Ein benutzerdefiniertes Bash-Skript protokollierte kontinuierlich Echtzeit-Systemmetriken, einschließlich CPU-Auslastung, Speicherbedarf und Festplatten-I/O-Aktivitäten. Das Experiment wurde in zwei Phasen durchgeführt: Phase 1 verwendete den IMDB-Datensatz (50k Bewertungen), während Phase 2 die Studie auf einen größeren Datensatz, die Amazon Book Reviews (100k Proben), ausweitete, um das Systemverhalten unter Big-Data-Bedingungen zu bewerten. Die Ergebnisse von Phase 1 zeigen, dass LoRA die ressourceneffizienteste Methode war, die das Training erfolgreich abschloss, ohne auf den Swap-Speicher angewiesen zu sein, während sowohl das Training von Grund auf als auch die vollständige Feinabstimmung stark darauf angewiesen waren. In Phase 2 schloss LoRA das Training erfolgreich mit aktiviertem Swap ab, während die anderen beiden Methoden selbst mit zusätzlichen Swap-Ressourcen nicht konvergierten. Eine weitere Analyse der gesammelten OS-Ebene Metriken enthüllte ergänzende Einblicke: Die CPU-Auslastung hob Unterschiede im rechnerischen Overhead und I/O-Unterbrechungen hervor, die Speichernutzung spiegelte die tatsächliche Ressourcensättigung und potenzielle Risiken des katastrophalen Vergessens wider, und die Festplatten-I/O-Modelle unterschieden zwischen schreibintensiven und leseintensiven Arbeitslasten. Gemeinsam zeigen diese Ergebnisse, dass die systemweite Bewertung eine praktische Perspektive für das Verständnis der Effizienz von Feinabstimmungsstrategien bietet, wobei LoRA sich als robuste Option für beschränkte Umgebungen herausstellt.