プルーニングによるLLMの自然選択（学生要約）

大規模言語モデル（LLM）は、さまざまなタスクで最先端のパフォーマンスを達成しています。しかし、これらのモデルのほとんどは数十億のパラメータを含むため、膨大なメモリ、計算、およびエネルギー資源を消費します。したがって、これらは導入、推論、トレーニングにおいて巨大な課題を構成します。従来のプルーニング方法は、パラメータ数を効果的に削減する一方で、時にはモデルの効率とパフォーマンスの間で最適ではないトレードオフを生じさせます。本研究では、LLM特有のプルーニング戦略とプルーニングパターンのグローバル最適化のための遺伝的アルゴリズム（GA）フレームワークを採用したハイブリッドアプローチを採用します。生物進化に触発されたプルーニングモデルは、染色体として表現され、選択、交差、突然変異の操作を用いて連続的に最適化されます。この自然選択の生物進化プロセスに触発されたアプローチは、プルーニング空間の体系的な探索を可能にします。