大規模言語モデルにおける文脈内学習：メカニズム、課題、および最前線

近年、大規模言語モデル（LLM）は、入力に埋め込まれた例から直接学習する能力、すなわち文脈内学習（ICL）を示しています。この学習アプローチにより、モデルは文脈内で例を理解し、モデルパラメータを変更することなく新しいタスクに一般化できます。これは、学習プロセスが推論段階で完全に実現され得ることを示唆しています。この現象はGPT-3で初めて観察され、その後、大規模モデルにおける推論の理解の中心となりました。研究では、ICLを暗黙のベイズ推論、学習アルゴリズムの内部シミュレーション、または注意回路内の帰納ヘッドの動作として説明しています。最近の研究はこれらの視点を拡張しています：『The Implicit Dynamics of ICL』は活性化の更新を事後推論に結び付け、『In-Context Learning with Long-Context Models』は多回ショットスケーリングを探り、『VL-ICL Bench』はマルチモーダル適応を評価します。全体として、これらの研究はICLが統計的推論、アルゴリズム的近似、機構的顕現など複数の特徴を統合することを示しています。しかし、理論的統合、再現性、および頑健性に関して課題が残っています。本稿では、2025年のICLの理論的枠組み、実証的結果、最新の研究進展をレビューします。目的はその内部メカニズムを明らかにし、現在の制約を示し、将来の発展方向を構想することで、ICLのより体系的かつ一貫した理解を促進することです。