翻訳のための大規模言語モデルのファインチューニング：不整合な言語におけるノイズのあるデータが十分であるか？

従来、多言語機械翻訳の成功は、トレーニングデータの3つの重要な要因：大規模、さまざまな翻訳方向、高品質によるものとされています。翻訳のために大規模言語モデル（LLM）をファインチューニングする現在の実践において、これらすべての要因の重要性を再考します。我々は、LLMはわずか32のトレーニングインスタンスでファインチューニングされた後、強力な翻訳能力を示すことを発見し、単一の翻訳方向でのファインチューニングがLLMに複数の方向に翻訳できるように効果的に働くことを示します。しかし、方向の選択は重要です：ターゲット側に英語を使用してLLMをファインチューニングすると、タスクの誤解釈が生じ、英語以外の言語への翻訳が妨げられる可能性があります。同様の問題は、特にターゲット言語がLLMの事前トレーニングで十分に表現されている場合、並列データのターゲット側にノイズが導入されると発生します。一方、十分に表現されていない言語のノイズは、影響が控えめです。我々の調査結果は、成功したアライメントの達成は、モデルに「表面的な」焦点を維持させることを教えることに依存していることを示唆しており、翻訳を超えた誤ったバイアスの学習を避けることができます。