大規模言語モデルにおける顕著だが有害な神経細胞の検出と剪定

大規模言語モデル（LLM）は、特定のデータセットに特化した学習メカニズムをしばしば発展させる。これには、ドメイン特有の相関関係への依存が含まれ、高信頼の予測を行うが、一般化可能な推論は欠ける。ある設定では有益だが、これらのデータセット特有のメカニズムは、モデルが新しいタスクや分布に遭遇すると性能を低下させる。本研究では、トランスフォーマーベースのLLMにおいて、データセット特有のメカニズムに関連する神経細胞を特定し剪定することで一般化を強化する微調整アプローチを紹介する。私たちの方法では、統合勾配を用いて各神経細胞が高信頼の予測に与える影響を定量化し、頑健で移転可能な推論を支持せず、データセット特有の性能に不均衡に寄与するものを特定する。これらの神経細胞を選択的に剪定することで、モデルは一般化可能な表現に依存することを強制される。複数の選択肢ベンチマークで評価した結果、私たちの剪定ベースの微調整は性能を大幅に向上させ、従来の（非剪定）適応方法を上回る。