大規模言語モデルの監督付きファインチューニングにおけるデータミキシング最適化

大規模言語モデル（LLM）の監督付きファインチューニング（SFT）におけるデータ混合の最適化は、汎用モデル開発のために重要ですが、この分野は未だ十分に探求されていません。本論文ではデータミキシングを最適化問題として定式化し、検証損失を最小化することを目的とした新しい手法を提案します。我々のアプローチは、転移される有効データをモデリングし、ファインチューニングのスケーリング則を活用して損失をパラメータ化します。様々な小規模データ混合で実験を行い、これらのパラメータをフィッティングして最適な重みを導出しました。数学的証明と実証的結果の両方により、本アルゴリズムが全ドメインでの優れた全体性能および個別性能を実現することを示します。制御された実験を通じて、我々の最適化された重みを用いたモデルがグリッドサーチで決定された最適重みを用いたモデルと遜色ない性能を示し、ドメイン別損失は平均してグリッドサーチの最良ドメイン損失よりわずか0.66%高いことを示しました。さらに、我々の手法で人気のあるSFTデータセットを再重み付けすることにより、検証損失と下流タスク性能の両方が向上することを示しました。最後に、本手法がドメイン特化モデルのデータ選択の指針として一般化可能であり、SFTに関する洞察を提供する方法について論じます。