干し草の中の針を探す：PaLMの翻訳能力における偶発的バイリンガリズムの役割について

大規模な多言語言語モデルは、通常の神経翻訳システムに提供される意図的に含まれた翻訳例を見たことがないにもかかわらず、驚くほど良いゼロショットまたは少数ショットの機械翻訳能力を示します。私たちは大規模言語モデルの翻訳能力を説明する上で偶発的バイリンガリズム（翻訳例を含むバイリンガル信号の意図しない消費）の役割を調査し、Pathways Language Model（PaLM）をケーススタディとして取り上げます。私たちは、スケールで偶発的バイリンガリズムを測定し理解するための混合手法アプローチを導入します。PaLMは少なくとも44言語にわたる3000万を超える翻訳ペアに触れていることを示します。さらに、偶発的なバイリンガルコンテンツの量は、非英語言語の単言語の言語内コンテンツの量と高い相関関係があります。偶発的なバイリンガルコンテンツをゼロショットプロンプトに関連付け、それを使用してPaLMの英語以外のゼロショット翻訳の質を改善するための新しいプロンプトをマイニングできることを示します。最後に、一連の小規模なアブレーションにおいて、その存在が翻訳能力に大きな影響を与えることを示しますが、この影響はモデルのスケールが大きくなるにつれて減少します。