GPT-4による指示チューニング

従来の研究では、機械生成された指示に従うデータを用いた大規模言語モデル（LLM）のファインチューニングが、これらのモデルに新しいタスクに対して驚異的なゼロショット能力を実現させることが示されています。人間が書いた指示は必要ありません。本論文では、LLMのファインチューニングのためにGPT-4を用いて指示に従うデータを生成する初めての試みを提示します。指示チューニングされたLLaMAモデルに関する初期の実験では、GPT-4によって生成された52Kの英語および中国語の指示に従うデータが、従来の最先端モデルが生成した指示に従うデータに比べて新しいタスクで優れたゼロショット性能をもたらすことが示されました。また、包括的な評価と報酬モデルのトレーニングを可能にするために、GPT-4からのフィードバックおよび比較データを収集します。私たちは、GPT-4を使用して生成したデータと私たちのコードベースを公開します。