教育者は100万の指示に値する

大規模言語モデル（LLMs）は卓越した能力を示していますが、これらのモデルの訓練は非常に困難です。データの質と最適な指示調整セットの発見に強く依存しています。さらに、訓練方法に内在する限界が、7Bおよび13Bパラメータを持つ相対的に小さなモデルの訓練に substantial な困難をもたらします。本研究では、専門家の混合（8x7B）アーキテクチャなどの大規模モデルからの知識を利用することで、これらのモデルのための改善された訓練方法を提案します。これらの大規模モデルのスケールは、データからのさまざまな変動を広範囲に捉えることができ、小規模モデルにとって効果的な教師となります。さらに、訓練中にモデルの一般化能力を保持しつつ、ドメイン固有の知識を高めるためにドメイン固有の専門家モデルを使用する新しいポストトレーニングドメインアラインメントフェーズを実装します。私たちの方法でMistral 7Bおよび2x7Bをファインチューニングすることで、7Bおよび13Bを超える最先端の言語モデルの性能を上回り、MT-Benchで最大7.9、AlpacaEvalで93.04％を達成します。