事前学習済み言語モデルのためのパラメータ効率的ファインチューニング手法：批判的レビューと評価

トランスフォーマーに基づく事前学習済み言語モデル（PLM）のパラメータ数が継続的に増加し、特に何十億ものパラメータを持つ大規模言語モデル（LLM）の出現に伴い、多くの自然言語処理（NLP）タスクで顕著な成功が示されています。しかし、これらのモデルの膨大なサイズと計算需要は、特に計算リソースが限られた環境で特定の下流タスクに適応させるための重要な課題を提示します。パラメータ効率的ファインチューニング（PEFT）は、ファインチューニングのパラメータ数とメモリ使用量を削減しながら、フルファインチューニングに匹敵するパフォーマンスを達成することで、効果的な解決策を提供します。PLM、特にLLMのファインチューニングの需要は、図1に示すようにPEFT手法の開発の急増をもたらしました。本論文では、PLMに対するPEFT手法の包括的かつ体系的なレビューを提示します。これらのPEFT手法を要約し、応用を議論し、今後の方向性を概説します。さらに、パラメータ効率とメモリ効率における効果をよりよく理解するために、いくつかの代表的なPEFT手法を用いた実験を実施します。最新の進展と実用的な応用に関する洞察を提供することで、この調査はPLMにおけるPEFTが提示する課題と機会を navigすることを目指す研究者や実務家にとって貴重なリソースとなります。