連続指示を用いた大規模言語モデルのファインチューニング

大規模言語モデル（LLM）は、単一のクエリ内での指示のシーケンスに従うのが難しく、一部を無視したり誤解したりすることがあります。これにより、多数の中間ステップを必要とする複雑な問題のパフォーマンスが損なわれます。例えば、多言語（翻訳した後に回答）やマルチモーダル（キャプションを付けた後に回答）タスクなどです。我々は、LLaMA-2 70BやMixtral-8x7BといったオープンソースのLLMを用いて、これを経験的に検証します。現代のデータにおける連続指示の不足に着目し、連続指示調整を提案します。これは指示調整データを自動的に増強し、LLMに複数の連続指示を実行する能力を与えるシンプルでありながら効果的な戦略です。既存のデータセット（Alpacaなど）での指示の混在をさまざまな中間タスクと共に探求した結果、連続指示調整されたモデルが推論、多言語、マルチモーダル能力を伴うダウンストリームタスクにおいて伝統的な指示調整のベースラインを一貫して上回ることがわかりました。さらに我々の技術を明らかにするために、敵対的な中間テキスト、未見のタスク、プロンプトの言語化、タスクの数、プロンプトの長さがSITに与える影響を分析します。これにより、複雑なタスクに対する指示調整の新たな研究の道が開かれることを期待しています。