大規模言語モデルのための継続的学習：サーベイ

大規模言語モデル（LLM）は、その膨大な規模による高いトレーニングコストのため、頻繁な再トレーニングには向いていません。しかし、LLMに新しいスキルを持たせ、急速に進化する人間の知識に対応させるためには更新が必要です。本論文は、LLMのための継続的学習に関する最近の研究を調査しています。LLMの独特の性質により、私たちは継続的プレトレーニング、指示調整、およびアライメントを含む新しい多段階カテゴリー化スキームで継続的学習技術をカタログ化しました。私たちは、LLMの継続的学習を小規模モデルで使用されるより単純な適応方法や、リトリーバル拡張生成やモデル編集などの他の強化戦略と対比させています。さらに、ベンチマークと評価の議論を通じて、私たちはこの重要なタスクのためのいくつかの課題と将来の作業の方向性を特定しました。