ラッキー52: 大規模言語モデルの指示を微調整するために必要な言語の数は？

多言語の下流タスクに向けて大規模言語モデルを微調整するには、異なる言語的文脈のニュアンスや構造を効果的に捉えるために多様な言語が必要です。具体的な数は、望ましい範囲や対象言語によって異なりますが、言語の数、言語的暴露、類似性が微調整のための言語選択に関与する重要な側面であると主張します。1から52言語で大規模な多言語モデルを微調整することで、本論文では1つの質問に答えます: 多言語タスクの指示微調整に必要な言語はどれくらいですか？私たちは、多言語の指示で微調整されたモデルが言語数の増加に伴って多言語ベンチマークでどのように振る舞うかを調査し、言語的暴露と類似性の観点から結果を議論します。