Eine eingehende Untersuchung der Kompromisse bei parameter-effizienten Präferenzabgleichstechniken

Große Sprachmodelle werden zunächst auf Billionen von Token vortrainiert und dann auf spezifische Präferenzen angeleitet oder abgestimmt. Während das Vortraining für die meisten Forscher aufgrund der erforderlichen Rechenkapazitäten unerreichbar bleibt, ist das Fine-Tuning dank parameter-effizienter Methoden wie LoRA und QLoRA erschwinglich geworden. Es ist bekannt, dass der Abgleich empfindlich auf viele Beteiligte Faktoren reagiert, einschließlich der Menge und Qualität der Daten, der Abgleichmethode und des Adapterrangs. Bislang hat es jedoch noch keine umfassende Untersuchung der Auswirkungen auf die nachgelagerte Leistung gegeben. Um diese Lücke zu schließen, führen wir eine eingehende Untersuchung der Auswirkungen beliebter Entscheidungen bei drei entscheidenden Achsen durch: (i) dem Abgleichdatensatz (HH-RLHF und BeaverTails), (ii) der Abgleichtechnik (SFT und DPO) und (iii) dem Modell (LLaMA-1, Vicuna-v1.3, Mistral-7b und Mistral-7b-Instruct). Unser umfangreiches Setup, das über 300 Experimente umfasst, zeigt konsistente Trends und unerwartete Erkenntnisse. Wir beobachten, wie informativeres Material beim Präferenzabgleich hilft, Fälle, in denen überwachtetes Fine-Tuning die Präferenzoptimierung übertrifft, und wie die Ausrichtung auf eine spezifische Präferenz die Leistung bei nachgelagerten Aufgaben steigert. Durch unsere detaillierten Analysen bringen wir wichtige Richtlinien vor, um Forschern zu helfen, effektivere parameter-effiziente LLM-Abgleiche durchzuführen.