解釈可能な大規模言語モデルの壊滅的忘却 指示ベクトルによるファインチューニング

大規模言語モデル（LLM）のファインチューニングは、それらが一般的な能力を失う原因となることがあります。しかし、そのような忘却の背後にある内因的メカニズムは未探究のままです。本論文では、知識の理解と指示の遵守に焦点を当ててこの現象を調査し、後者がファインチューニング中の忘却の主な要因として特定されることから始めます。その結果、特定の指示遵守能力に高度に関連するモデルの表現を捉えるための指示ベクトル（IV）フレームワークを提案します。これにより、モデル内因的な忘却を理解することが可能になります。トレーニング前後のIVの動態の分析を通じて、ファインチューニングは以前のスキルを消去するのではなく、主に専門的な推論パターンを追加することが多いと示唆します。この洞察に基づいて、元の計算グラフを保持することを目指したIVガイドトレーニングを開発し、壊滅的忘却を軽減します。3つのベンチマークによる実証テストは、この新しいアプローチの有効性を確認し、IVと忘却の関係を支持します。私たちのコードは近日中に公開される予定です。