インストラクターとしてのLLM: モデル改善の自動化に向けたエラーからの学習

本論文は、先進的な大規模言語モデル（LLM）を活用して、より小さなターゲットモデルの訓練を自律的に強化する革新的な「インストラクターとしてのLLM」フレームワークを紹介します。「エラーからの学習」という理論に触発され、このフレームワークは、インストラクターLLMを使用してターゲットモデル内の特定のエラーを慎重に分析し、ターゲットを絞った効率的な訓練サイクルを促進します。このフレームワークでは、「エラーからの学習」という二つの戦略を実施します。一つ目は不正解の応答のみに焦点を当て、訓練データをカスタマイズする「エラーからの学習」。二つ目は対照的学習を使用して正解と不正解の両方の応答を分析し、エラーの理解を深める「対照によるエラーからの学習」です。いくつかのオープンソースモデルを用いた実証研究では、数学的推論、コーディング能力、事実知識を含む複数のベンチマークにおいて大幅な向上を示しました。特に、改良されたLlama-3-8b-InstructionはChatGPTを上回り、我々のアプローチの効果を示しています。両方の戦略の強みを活用することで、ドメイン内およびドメイン外のベンチマークにおいてよりバランスの取れたパフォーマンス向上を達成しました。コードは https://yingjiahao14.github.io/LLMs-as-Instructors-pages/ で入手できます。